Block Sparse Attention with Log-Linear Complexity
Aggiunta all'archivio di AIChronos il (numero del 28 settembre 2026 ricostruito)· fonte del · Bohao Tang, Zhen Qin, Yuqi Pan, Zheng Li, Pengfei Liu (ByteDance Seed)
Lo scaling dei modelli linguistici su contesti lunghi è limitato dal costo quadratico dell'auto-attenzione; PISA risolve questo problema proponendo un meccanismo di attenzione a blocchi sparsi con complessità log-lineare. Il metodo utilizza una strategia piramidale Top-K che costruisce una gerarchia da grossolana a fine dei candidati per selezionare le chiavi più rilevanti senza calcolare tutte le coppie query-blocco. Tramite pooling, il meccanismo crea O(log N) livelli di chiavi, riducendo la complessità complessiva a O(N log N). Sono stati sviluppati kernel hardware-aware in Triton che fondono il routing gerarchico e lo scoring LogSumExp senza materializzare la matrice dei punteggi.
- PISA introduce una selezione Top-K piramidale per ridurre la complessità dell'auto-attenzione a blocchi sparsi da O(N^2) a O(N log N).
- La strategia di selezione opera su una gerarchia coars-to-fine, valutando candidati limitati in ogni livello tramite LogSumExp scoring.
- L'implementazione utilizza kernel Triton ottimizzati per hardware che evitano la materializzazione della matrice query-key score durante training e inference.
- Il metodo mantiene prestazioni comparabili ai baseline su benchmark di ragionamento comune mentre migliora i risultati sui task di retrieval.
- La tecnica è particolarmente efficace per gestire sequenze lunghe senza sacrificare l'efficienza computazionale.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti, PISA permette di estendere il contesto gestibile riducendo drasticamente i costi di memoria e calcolo, rendendo fattibili inferenze su dispositivi locali o edge. Questa efficienza è cruciale per implementare sistemi multi-agente dove la comunicazione tra nodi richiede contesti lunghi ma risorse limitate.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.