Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers
Pubblicata su AIChronos il · fonte del · Jiongfan Yang, Weichen Fan, Haiwen Diao, Zhongang Cai, Ziwei Liu
L'articolo introduce SpecSlot, un Transformer per flussi rettificati nello spazio dei pixel che disaccoppia i dettagli di output dalla lunghezza della sequenza globale. Il metodo espande ogni ancoraggio spaziale in più slot assegnati a bande disjoint di coefficienti DCT, permettendo solo al slot a frequenza più bassa di partecipare all'attenzione globale mentre gli altri interagiscono localmente. Questa architettura consente di aumentare il dettaglio spetturale senza ingrandire la sequenza globale, riducendo i costi computazionali mantenendo alte prestazioni.
- SpecSlot separa la densità degli ancoraggi spaziali dalla suddivisione spettrale tramite slot DCT disjoint.
- Solo il slot a frequenza più bassa di ogni ancoraggio partecipa all'attenzione globale, riducendo i costi computazionali.
- La testa spaziale aggiunge una correzione locale alla previsione spetturale mantenendo stato e perdita nello spazio dei pixel.
- Su ImageNet-512 SpecSlot migliora l'Score FID del 3.9% rispetto al controllo JiT con meno FLOPs totali.
- Nel testo-to-image, Supera JiT-B/8 su DPG-Bench riducendo il costo forward del 40.6%.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti AI locali, questo approccio è rilevante perché dimostra come l'ottimizzazione dell'attenzione globale possa essere applicata anche a modelli generativi visivi, riducendo drasticamente i costi di inferenza senza sacrificare la qualità dei dettagli ad alta frequenza.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.