From Research Goals to Scientific Closure: Evaluating Agents Through Evidence-Supported Physics Research
Pubblicata su AIChronos il · fonte del · Yijia Mao, Song Dai, Tao Chen, Xiangyu Lu, Linqian Zeng, Chenxi Hu
Il paper introduce PhysClosureBench, un benchmark composto da 50 compiti di ricerca verificati da esperti in fisica (strong-field, attosecond) per valutare la capacità degli AI agents di organizzare indagini scientifiche e raggiungere conclusioni ben supportate. Viene utilizzato uno score atomico a 2 criteri per misurare l'accomplimento scientifico locale e una metrica Research Closure (RC0-RC4) per verificare se le condizioni indispensabili dell'evidenza siano soddisfatte. L'analisi di sette modelli frontier, incluso Claude-Opus-5 che ottiene il punteggio atomico medio più alto ma raggiunge la chiusura RC4 solo nel 32,7% dei tentativi, rivela un divario persistente tra risultati locali e capacità di chiudere completamente una ricerca scientifica.
- PhysClosureBench valuta se gli AI agents possono organizzare indagini scientifiche che portano a conclusioni ben supportate attraverso evidenze validate.
- La metrica Research Closure (RC0-RC4) misura quanto l'indagine risolve pienamente la domanda di ricerca basandosi sul soddisfacimento dei requisiti dell'evidenza e delle condizioni di ambito applicabile.
- Un divario significativo esiste tra i punteggi atomici locali elevati e il raggiungimento della chiusura completa RC4, con molti tentamenti che non soddisfano tutti i criteri scientifici necessari.
- L'analisi caso per caso dimostra come la cattiva interpretazione dei risultati generati o limiti irrisolti sulla applicabilità fisica portino a una chiusura incompleta dell'indagine.
Perché conta. Per uno sviluppatore che lavora con LLM e agenti, questo paper evidenzia i limiti attuali degli AI agents nel gestire vincoli scientifici complessi e nella validazione autonoma delle proprie conclusioni prima di dichiarare un problema risolto.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.