ImplicitHop: Evaluating knowledge integration across context and memory
Pubblicata su AIChronos il · fonte del · Alexander Detkov, Dashiel Karish, Matthew Oleynikov, Matt Thomson
Il paper introduce due benchmark complementari per valutare l'integrazione delle conoscenze e il ragionamento deduttivo nei Large Language Models (LLMs) in funzione della profondità dell'inference. I risultati mostrano che la precisione decade drasticamente all'aumentare della lunghezza di composizione, sia per le informazioni pre-addestrate nel modello che per quelle fornite in-contexto. Tuttavia, l'informazione presentata in-contexto supera significativamente quella codificata nei pesi del modello durante il pretraining. Questi dati quantificano un limite fondamentale con implicazioni dirette per il controllo basato su prompt dei comportamenti degli agenti e le strategie di apprendimento continuo.
- Introduzione di due benchmark: uno formale basato su grafi controllati e uno fondato su knowledge graph del mondo reale.
- Valutazione dell'integrazione delle conoscenze confrontando informazioni codificate nel contesto (in-context) rispetto a quelle nei pesi pre-addestrati.
- Osservazione di un decadimento netto della accuratezza all'aumentare della lunghezza di composizione per entrambi i tipi di informazione.
- Superiore performance del ragionamento deduttivo quando le informazioni sono fornite in-contexto piuttosto che memorizzate nel modello.
- Implicazioni pratiche per lo sviluppo di metodi di training, prompting e integrazione per supportare un ragionamento più profondo.
Perché conta. È rilevante perché evidenzia i limiti attuali dei modelli LLM nell'integrare informazioni a lungo raggio senza CoT (Chain of Thought), guidando gli sviluppatori verso strategie di prompt engineering o architetture ibride per migliorare il ragionamento negli agenti AI locali.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.