Test-Time Confidence Adaptation under RL-Induced Trajectory Shift
Pubblicata su AIChronos il · fonte del · Zhenzhen Ren, Xiaoqing Zhang, GuoBiao Li, Bowen Fang, Yanxi Wang, Xinpeng Zhang
Gli stimatori di fiducia basati sulle traiettorie nei Large Language Models (LLMs) tendono a degradare dopo l'apprendimento per rinforzo agenticale (Agentic RL), poiché questo induce spostamenti significativi nelle traiettorie di ragionamento. Tuttavia, lo studio rivela che una struttura di affidabilità è preservata: le traiettorie più stabili rimangono più probabili nel produrre risposte corrette anche nei modelli addestrati con RL. Sulla base di questa scoperta, viene proposto StaR-TTA, un framework per l'adattamento della fiducia al momento del test (test-time) che utilizza segnali di affidabilità derivati dalla stabilità senza richiedere etichette di risposta corretta.
- Gli stimatori di fiducia tradizionali falliscono dopo Agentic RL a causa dello shift nelle traiettorie di ragionamento.
- Esiste una relazione trasferibile tra la stabilità della traiettoria e l'affidabilità della risposta che sopravvive al fine-tuning con RL.
- StaR-TTA è un metodo label-free che impara su dati etichettati (Base) per poi adattare i punteggi di fiducia sui nuovi dati non etichettati (RL).
- Il framework raggiunge una media AUROC di 0.721 su quattro benchmark QA, mostrando miglioramenti consistenti.
- L'approccio funziona indipendentemente dalla famiglia del modello, la scala e l'algoritmo specifico di Agentic RL utilizzato.
Perché conta. Per gli sviluppatori che integrano agenti AI locali o sistemi basati su LLM, questo paper offre una soluzione pratica per mantenere affidabili le stime della fiducia (confidence scores) dopo aver applicato tecniche avanzate come il reinforcement learning senza dover raccogliere nuovi dati etichettati.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.