Concetto · 3 novità
LLM-as-a-judge
Pagina pubblicata il · ultima novità il
Cronologia
- Online Dense Reinforcement Learning with Planning-Grounding Agent for UI Navigation on Live IOS AppsPer gli sviluppatori che lavorano con agenti e AI locale, questo approccio riduce drasticamente i costi di inference rispetto ai frontier vision-language models mantenendo alte prestazioni nella navigazione UI dinamica. Offre una via concreta per implementare sistemi autonomi su dispositivi reali (come iOS) senza dipendere da modelli cloud costosi o traiettorie pre-addestrate fragili.
- Thinking Inertia: LLMs Keep Thinking When Told Not ToPer gli sviluppatori di agenti e sistemi AI locali, questo paper evidenzia un rischio critico: l'assenza di output logici visibili non garantisce realmente la mancanza di inferenze interne o 'allucinazioni ragionate'. È fondamentale implementare metriche specifiche come quelle proposte (Empty-Thinking Rate) per validare che i modelli operino in modalità passiva quando richiesto, specialmente in contesti dove il silenzio computazionale è un requisito di sicurezza.
- JEV-as-a-Judge: Accept When Confident, Escalate When UnsurePer gli sviluppatori che lavorano con LLM o agenti AI locali, questa tecnica permette di bilanciare accuratezza e costo computazionale evitando l'uso indiscriminato di modelli pesanti per valutazioni semplici.