CrossSWE: Benchmarking Cross-Repository Joint Development for Coding Agents
Pubblicata su AIChronos il · fonte del · Silin Chen, Yuling Shi, Heng Lian, Zihan Zhang, Xiaodong Gu, Haotian Lin
CrossSWE è un benchmark che valuta gli agenti di coding su scenari reali di sviluppo software distribuito in più repository interconnessi. A differenza dei test tradizionali focalizzati su singoli repo, questo dataset verifica la capacità degli LLM di gestire dipendenze complesse e propagazione delle modifiche tra 165 repository e 20 domini tecnici. La valutazione mostra che anche i modelli più avanzati come GPT-6.1 Sol faticano a mantenere la coerenza (Pass@1 del 58,48%), con le inconsistenze cross-repository come principale causa di fallimento.
- Il benchmark comprende 171 istanze reali che coprono 20 domini tecnici e 13 linguaggi di programmazione.
- Le modifiche parziali a singoli repository sono spesso insufficienti per raggiungere il comportamento desiderato senza coordinamento.
- La modalità di fallimento più frequente è l'inconsistenza tra i diversi repository interdipendenti (44,2%).
- L'uso di agenti AI richiede capacità avanzate di ragionamento sulle dipendenze e sulla propagazione dei cambiamenti.
- I risultati evidenziano le attuali limitazioni degli LLM nel gestire scenari di sviluppo software distribuito.
Perché conta. Per uno sviluppatore che utilizza agenti o modelli AI locali, CrossSWE è cruciale per comprendere i limiti reali dell'automazione del codice in ambienti complessi e multi-repository. Questo benchmark aiuta a definire le aspettative realistiche sull'affidabilità degli strumenti di coding agents prima della loro adozione in flussi di lavoro critici.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.