FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell
Pubblicata su AIChronos il · fonte del · Fedor Velikonivtsev, Mikhail Koltakov, Denis Kuznedelev (Yandex Research)
FLAMIA è un insieme di kernel per l'attenzione progettato specificamente per le GPU NVIDIA Blackwell (B200 e B300) che supporta percorsi di addestramento MXFP8 e misti NVFP4/FP8. L'architettura risolve sfide critiche come il sovraccarico della quantizzazione, la perdita causale dovuta a scale condivise e le incoerenze numeriche tra i passaggi forward e backward attraverso tecniche di token-block scaling e document-local scaling. Questi approcci permettono un accelerazione significativa (1.06x-1.42x) delle chiamate di attenzione combinate rispetto alle baseline, mantenendo la stabilità dell'addestramento su modelli pretraining stile Llama.
- Sfrutta le matrici moltiplicazioni a bassa precisione ad alto throughput delle GPU Blackwell per ridurre i costi computazionali nell'attenzione Transformer.
- Implementa token-block scaling che riutilizza operandi quantizzati attraverso diverse orientamenti di matrice per minimizzare l'overhead.
- Garantisce la sicurezza causale tramite salvaguardie mirate contro le fughe informative indotte dalle scale e computazioni coerenti forward/backward.
- Supporta documenti a lunghezza variabile direttamente in layout packed senza necessità di repacking, ottimizzando il scheduling del workload.
- Mantiene la qualità dell'addestramento preservando la stabilità su modelli pretraining basati sull'architettura Llama.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti locali, FLAMIA offre un modo pratico per sfruttare l'hardware Blackwell a basso bit (MXFP8/NVFP4) senza sacrificare la sicurezza causale o la stabilità numerica dell'inference.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.