Retrieval Augmented Generation Compositionality
Pubblicata su AIChronos il · fonte del · Ido Levy, Segev Shlomov, Leshem Choshen
Il paper introduce LASAGNA, un framework open-source per valutare in modo controllato le tecniche di Retrieval Augmented Generation (RAG) su larga scala. Gli autori testano 450 configurazioni su otto benchmark e corpus da 5K a 200K documenti, sfatando l'idea che i guadagni individuali delle singole fasi del pipeline si traducano automaticamente in miglioramenti composti. I risultati evidenziano come le tecniche forti isolatamente possano non funzionare insieme, come l'ottimizzazione della retrieval possa danneggiare la faithfulness e come il best composition cambi al crescere del corpus.
- Le singole tecniche RAG con alte prestazioni isolate non garantiscono necessariamente un miglioramento combinato quando composte nel pipeline completo.
- L'ottimizzazione dei componenti per migliorare la retrieval può avere effetti negativi sulla faithfulness delle risposte generate.
- La combinazione di tecniche vincente varia dinamicamente in base alla dimensione del corpus, passando da 5K a oltre 200K documenti.
- I guadagni misurati su piccoli dataset non sono predittori affidabili della performance reale su larga scala.
- LASAGNA è fornito come framework open-source per facilitare esperimenti di valutazione RAG con stack completi.
Perché conta. Per uno sviluppatore che lavora con LLM e agenti, questo paper dimostra l'importanza cruciale di testare le nuove tecniche non in isolamento ma all'interno dell'intero stack operativo per evitare overfitting su piccoli corpus. Ignorare la composizione delle fasi del pipeline può portare a implementazioni ingannevoli che falliscono quando scalate o applicate a domini reali.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.