Subquadratic Attention with a Hierarchical Tree-Structured Indexer
Pubblicata su AIChronos il · fonte del · Leon Lufkin, Cutter Dawes, Alexander Speicher, Kamesh Krishnamurthy, Tomás Figliolia, Beren Millidge
Il paper introduce Zyphra Hierarchical Attention (ZHA), un metodo di attenzione sparsa asintoticamente subquadratica basato su un indexer gerarchico strutturato ad albero. ZHA costruisce una serie ricorsiva di riepiloghi delle chiavi sul cache KV che le query future esplorano dall'alto verso il basso per recuperare un sottoinsieme sparso di chiavi. Iterando la profondità dell'albero, il costo totale scalizza in modo sublineare rispetto alla lunghezza della sequenza, superando i limiti quadratici tradizionali senza sacrificare l'espressività dell'attenzione.
- ZHA supera le limitazioni delle tecniche esistenti che o riducono l'espressività (es. sliding-window) o offrono solo miglioramenti a fattore costante.
- Il metodo è robusto alla geometria dell'albero, funzionando efficacemente anche con alberi molto profondi fino a 6 livelli.
- Può essere applicato economicamente a modelli pre-addestrati esistenti tramite una breve fase di distillazione KL su pochi miliardi di token.
- Offre prestazioni superiori rispetto ai metodi concorrenti oltre il milione di contesto, potenzialmente estendendo le finestre efficaci a centinaia di milioni o miliardi di token.
Perché conta. Per uno sviluppatore che lavora con LLM e agenti locali, ZHA rappresenta una soluzione cruciale per gestire contesti ultra-lunghi (hundreds of millions) mantenendo la capacità ragionamento complessa senza richiedere hardware massivo.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.