Glance: The Generator Is Its Own Reranker
Pubblicata su AIChronos il · fonte del · Adilet Metinov, Chingiz Arziev
Glance è un framework che integra capacità di reranking direttamente nel generatore LLM tramite un adattatore leggero e una head pointer, eliminando la necessità di modelli separati. Questo approccio utilizza sonde di rilevanza (short relevance probes) che si diramano dal contesto cached per assegnare punteggi ai passaggi senza prefilling duplicato per ogni coppia query-passaggio. Dopo il fine-tuning su MS MARCO, Glance supera i cross-encoder tradizionali in termini di nDCG@10 e migliora la precisione F1 delle risposte alle domande HotpotQA mantenendo un singolo backbone residente da 9B.
- Glance equipaggia il generatore con un decision adapter leggero per gestire sia le decisioni generali che il reranking in una sola istanza di modello.
- Le short relevance probes producono un punteggio per ogni passaggio partendo dal contesto cached, evitando la duplicazione delle risorse computazionali del prefilling.
- Il sistema raggiunge nDCG@10 di 0.741 su SciFact e 0.345 su NFCorpus dopo soli 39 minuti di fine-tuning sul dataset MS MARCO.
- Lo studio di scaling dimostra che la qualità del reranking continua a migliorare fino all'analisi di 200 candidati (43k tokens) da un unico prefilling condiviso.
- Un adapter attivato solo per le sonde permette al processo di generazione di continuare utilizzando il cache dei passaggi originali.
Perché conta. Per gli sviluppatori che lavorano con LLM locali o agenti, Glance offre una via efficiente per ridurre la footprint memory e computazionale eliminando l'overhead del mantenimento di modelli dedicati al reranking. Questo permette di scalare il numero di candidati valutati senza sacrificare le prestazioni, rendendo più pratici sistemi RAG complessi in ambienti con risorse limitate.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.