Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models
Pubblicata su AIChronos il · fonte del · Xilin Wei, Shengyuan Ding, Xinyu Fang, Tiancheng Gu, Yuchi Wang, Zhixun Li
Co-Design Bench è un benchmark di riferimento senza gold standard composto da 273 task derivati da sessioni reali di coding utente. Il dataset valuta la capacità degli agenti AI di tradurre richieste multimodali in revisioni applicative funzionanti attraverso due track: Multimodal Editing e Repository Editing. Le valutazioni coprono tre dimensioni di competenza, inclusa l'audizione delle affermazioni visive senza screenshot target o codice gold.
- Il benchmark include criteri di accettazione nascosti scritti da esperti per validare le revisioni del codice.
- Viene utilizzato un protocollo judge-then-refute che sfida i verdetti positivi con un verificatore LLM separato.
- I modelli più forti soddisfano solo il 26.4% dei task completamente, evidenziando la differenza tra soddisfazione parziale e successo totale.
- Le performance sugli editing del repository diminuiscono quando le modifiche coinvolgono tre o quattro tipi di cambiamenti rispetto a uno o due.
- Il dataset supporta input multimodali come immagini, audio, video e documenti per testare l'editing localizzato.
Perché conta. È rilevante perché quantifica il divario tra le capacità parziali degli agenti AI e la soddisfazione completa dei requisiti in scenari reali di sviluppo software.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.