VibeTraining-Bench: Data-Trainer-Harness Co-Design for Iterative System Improvement
Pubblicata su AIChronos il · fonte del · Ruotian Peng, Yuanyi Ren, Shuaiqi Liu, Xin Guo, Fang Zhu, Yangyi Huang
VibeTraining-Bench è un benchmark introdotto per valutare la capacità di 'cross-component co-design' degli agenti AI, ovvero l'ottimizzazione congiunta dei dati di training, del trainer e dell'harness d'inferenza. Il framework supporta il miglioramento iterativo (Recursive Self-Improvement) su compiti complessi come ingegneria del software e ragionamento matematico, garantendo la sicurezza tramite isolamento dei dati e restrizioni di rete per prevenire reward hacking. I risultati dimostrano che agenti frontier possono migliorare significativamente le prestazioni degli sistemi target, avvicinandosi alle performance dei modelli istruiti sviluppati dagli umani.
- Introduce il concetto di cross-component co-design per ottimizzare simultaneamente dati, trainer e harness d'inference.
- Utilizza un approccio a budget fisso con feedback guidati dalla validazione per iterare sul sistema dell'agente.
- Implementa tre salvaguardie specifiche (isolamento test data, container separati, restrizioni di rete) contro il reward hacking.
- Mostra che GPT-6-Astra può elevare le performance su SWE-bench Verified dal 32.9% al 53.7%, quasi pari ai modelli umani.
- Fornisce una piattaforma unificata per avanzare la ricerca sul Recursive Self-Improvement (RSI) negli agenti.
Perché conta. È rilevante perché offre metriche concrete e strumenti per sviluppare sistemi AI locali che migliorano autonomamente i propri componenti senza dipendere esclusivamente da dati esterni o risorse illimitate.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.