Does Scaling Toward AGI Depend on What System-1 Lets System-2 Execute?
Pubblicata su AIChronos il · fonte del · Qi Wang, Yun Qu, Lizhou Cai, Heming Zou, Haoang Chi, Yiqin Lv
Il progresso verso l'Intelligenza Artificiale Generale (AGI) potrebbe derivare non solo dal scaling di System-2 tramite modelli più grandi e dati aggiuntivi, ma anche dalla co-progettazione con un predittore leggero semanticamente consapevole chiamato System-1. Questo sistema valuta le interazioni candidate prima dell'esecuzione da parte di System-2, permettendo l'attivazione dei processi computazionali solo quando giustificati dal loro costo atteso. Lo studio introduce il concetto di 'conditional interaction', basato su un ciclo prevedi-filtrai-esegui-aggiorna che ottimizza l'uso delle risorse durante la formazione e il ragionamento in tempo reale.
- System-1 agisce come predittore leggero per stimare l'utilità di ogni interazione candidata prima dell'esecuzione da parte del costoso System-2.
- L'approccio riduce drasticamente i costi computazionali di esecuzione, con un risparmio che si avvicina a 1/ρ_u sotto condizioni ideali, dove ρ_u è la densità delle interazioni rilevanti per l'utilità.
- Il ciclo prevedi-filtrai-esegui-aggiorna copre scenari di training, ragionamento in test-time, decisione adattiva e uso di agenti autonomi con strumenti.
- La selezione basata su System-1 è soggetta a riduzioni dell'efficienza dovute agli errori di previsione, all'esplorazione e allo shift distribuzionale dei dati.
- Il calcolo informativo (informative compute) emerge come una metrica più accurata dello scaling rispetto al semplice totale computazionale.
Perché conta. Per gli sviluppatori che lavorano con LLM locali o agenti autonomi, questo approccio offre un meccanismo concreto per ridurre i costi di inferenza e l'uso delle risorse hardware limitate senza sacrificare la qualità del ragionamento.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.