Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures
Aggiunta all'archivio di AIChronos il (numero del 25 settembre 2026 ricostruito)· fonte del · Ruoqi Guo, Yi Liu, Gelei Deng, Yuekang Li, Lida Zhao, Yutao Wu
Jev è un modello addestrato con Reinforcement Learning for Calibrated Decisions (RLCD) che risponde a molteplici domande su un singolo input fornendo probabilità calibrate in una sola chiamata. Il paper introduce RLCDAlignBench, uno strumento di valutazione per dieci tipi di fallimenti nell'allineamento AI come sycophancy e jailbreaks, superando le baseline supervisionate con un AUROC mediano zero-shot di 0.886. A differenza dei giudici generativi o classificatori tradizionali che richiedono passaggi di decoding separati, Jev varia la formulazione della domanda indipendentemente dai campi dell'input per rilevare fallimenti relazionali non evidenti nella risposta stessa.
- Jev utilizza RLCD per fornire probabilità calibrate in una singola chiamata invece di etichette fisse o passaggi di decoding multipli.
- Il framework supera le baseline supervisionate su dieci benchmark specifici, inclusi sycophancy e deception, con un costo computazionale inferiore di 63 volte rispetto ai giudici LLM.
- La strategia chiave varia la formulazione della domanda (wording) indipendentemente dai campi dell'input per catturare fallimenti relazionali definiti contro riferimenti esterni.
- Jev rivela difetti nelle etichette esistenti dei benchmark e raggiunge un accordo con le etichette umane simile a quello degli scorer di riferimento.
- Il metodo si dimostra efficace anche in contesti zero-shot, superando i limiti dei classificatori basati sulle probabilità dei token come Llama Guard.
Perché conta. Per gli sviluppatori che lavorano con agenti e AI locali, Jev offre un modo efficiente per rilevare fallimenti di allineamento complessi senza costi computazionali proibitivi o la necessità di modelli giudici generativi pesanti.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.