Rethinking Sequence Compression with Test-time Regression
Pubblicata su AIChronos il · fonte del · Sihan Yang, Jie Huang, Hanxuan Li, Yifan Guo, Weigao Sun, Yiran Zhong (CUHK SphereLab)
Il paper propone TTR-Compressor, un nuovo approccio per la compressione delle sequenze basato sul regressore test-time (test-time regression), che supera le metodologie tradizionali di pooling o proiezioni apprese. In questo metodo, i token in input definiscono un problema di regressione risolto tramite coefficienti calcolati efficientemente a chiusura formale durante il passaggio forward, mentre la funzione stessa viene ottimizzata end-to-end via backpropagation. L'approccio è stato validato come compressore per l'attenzione sparsa blocco-per-blocco e come fusione token visiva nei modelli linguistici multimodali di grandi dimensioni (MLLM). I risultati dimostrano un significativo miglioramento delle prestazioni su benchmark come RULER rispetto agli compressor basati sull'attenzione, nonché una riduzione del 55.6% dei token visivi mantenendo le performance dello standard MLP merger.
- TTR-Compressor utilizza la regressione test-time per generare rappresentazioni compresse senza ricorrere a pooling o proiezioni apprese convenzionali.
- La soluzione del problema di regressione avviene in modo efficiente tramite coefficienti calcolati in closed form durante il forward pass, separando l'ottimizzazione dall'inferenza rapida.
- Sull'attenzione sparsa blocco-per-blocco (block-wise sparse attention), TTR-Compressor migliora drasticamente le performance rispetto ai compressor basati sull'attention standard.
- Per la fusione dei token visivi nei MLLM, il metodo supera l'MLP merger convenzionale e raggiunge prestazioni equivalenti utilizzando solo il 55.6% del numero di token originali.
- L'approccio stabilisce la regressione test-time come un primitivo efficace per ottimizzare i collo di bottiglia informativi in modelli linguistici ed efficienti multimodali.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti, TTR-Compressor offre una via concreta per ridurre il consumo di memoria e accelerare l'inferenza senza sacrificare la qualità delle risposte. L'efficienza computazionale derivante dalla risoluzione in closed form rende questa tecnica particolarmente adatta per scenari di AI locale dove le risorse sono limitate.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.