RefCraft: Benchmarking Visual-Reference-Conditioned Agentic Generation through Web Development
Pubblicata su AIChronos il · fonte del · Yuchi Wang, Rongyao Fang, Weihao Yu, Xilin Wei, Tiancheng Gu, Dingkang Yang
Il benchmark RefCraft valuta la capacità degli agenti AI di incorporare riferimenti visivi nello sviluppo web, superando i limiti dei dataset esistenti che si concentrano solo su istruzioni testuali. Il set dati include 300 compiti multimodali reali in cui gli agenti devono interpretare screenshot da uno a cinque pagine web per generare output iterativi e raffinati. L'analisi utilizza punti chiave verificabili indipendentemente, insieme a giudici programmatici e VLM (Vision-Language Models), per valutare l'efficacia dei sistemi. I risultati mostrano che anche i migliori modelli attuali raggiungono un punteggio massimo del 52.12 su 100, evidenziando le sfide residue nell'utilizzo di riferimenti visivi.
- RefCraft introduce una suite di benchmarking per lo sviluppo web guidato da istruzioni naturali e screenshot di riferimento.
- Il dataset comprende 300 compiti realistici che richiedono agli agenti di selezionare e utilizzare strategicamente i riferimenti visivi forniti (da uno a cinque).
- La valutazione combina giudici programmatici, VLM e punti chiave verificabili per misurare la qualità degli artefatti generati in modo aperto.
- I nove modelli linguistici grandi frontiera testati dimostrano che l'agentic generation condizionata da riferimenti visivi è ancora una sfida significativa.
- L'esperimento si concentra su scenari pratici di produttività, a differenza dei benchmark ideali esistenti focalizzati sulla ricostruzione visiva o generazione puramente testuale.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti locali, RefCraft evidenzia il divario tra le capacità attuali dei modelli nell'interpretare input multimodali complessi e i requisiti pratici per automatizzare flussi di lavoro reali come lo sviluppo web. Comprendere queste limitazioni è cruciale prima del fine-tuning o dell'integrazione in pipeline produttive che dipendono da riferimenti visivi.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.