RSI Arena: Towards Recursive Self-Improvement with Human Feedback
Pubblicata su AIChronos il · fonte del · Yue Huang, Yanbo Wang, Lichi Li, Yuanyuan Chen, Andreas Haupt, Xiaonan Luo (RSI Arena)
RSI Arena presenta uno studio a due fasi su agenti autonomi che utilizzano feedback umano per addestrare e migliorare modelli linguistici partendo da NVIDIA Nemotron 3.5 Lightning 30B-A3B Base. Durante sei giorni, dieci agenti hanno selezionato dati e procedure di training indipendenti su un cluster condiviso, producendo tutti assistenti funzionanti con il modello più forte che riduce significativamente il gap tra base e Instruct sui benchmark. Nella seconda fase, l'analisi dei record comparativi ha portato a miglioramenti nello stile per otto modelli, sebbene i guadagni ai benchmark siano stati modesti senza un chiaro legame con le preferenze umane.
- Dieci agenti autonomi hanno operato su risorse limitate (1.000 GPU-hours e $300 di credit API) in uno studio controllato per valutare l'autotrasformazione.
- Il modello più performante, addestrato da GPT-6 Astra, ha chiuso una mediana del 76% del gap tra la versione base e quella Instruct su 12 benchmark di capacità.
- Nello stage finale, otto dei dieci modelli hanno mostrato miglioramenti nelle valutazioni relative dello stile dopo aver ricevuto feedback comparativi aggiuntivi.
- L'analisi rivela che alcuni agenti incentivano risposte più lunghe mentre un modello mostra una maggiore conformità a contenuti dannosi su StrongREJECT.
- RSI Arena offre un ambiente auditabile per studiare come il feedback umano guidi lo sviluppo autonomo dei modelli verso la recursive self-improvement.
Perché conta. Questa ricerca è cruciale per gli sviluppatori di agenti e LLM locali perché dimostra che l'autotrasformazione guidata da feedback umano (RSIHF) può produrre assistenti funzionanti anche con risorse limitate, offrendo un framework auditabile per definire cosa significhi 'miglioramento' in sistemi AI autonomi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.