miniTE: Diagnosing and Bridging the Execution Gap in Native NVFP4 Reinforcement Learning
Pubblicata su AIChronos il · fonte del · Zhen Li, Mingfa Feng, Yiming Zhang, Yang Yu, Changhai Zhou, Pengxiang Li (InfiX.ai)
miniTE è un framework leggero progettato per colmare il divario di esecuzione nei processi di Reinforcement Learning (RL) nativo con precisione NVFP4 su modelli LLM. Il sistema combina diagnosi dell'esecuzione, allineamento numerico tra motori separati e computazione GEMM efficiente in W4A4 (pesi e attivazioni a 4 bit). Questo approccio garantisce una valutazione della politica coerente senza modificare l'obiettivo di RL, superando le prestazioni naive del Transformer Engine (TE) NVFP4. Gli esperimenti su Qwen3-30B-A3B dimostrano un addestramento stabile con benchmark vicini al BF16 e un throughput significativamente più alto.
- L'allineamento dei pesi del modello è insufficiente da solo; serve l'allineamento numerico cross-engine per garantire una valutazione della politica consistente.
- miniTE implementa computazione GEMM nativa W4A4 riducendo i sovraccarichi di implementazione rispetto alle soluzioni naive.
- Sulla GPU NVIDIA B300, il learner ottimizzato raggiunge 33.540 token/s, offrendo un throughput del 1.39x e 1.47x rispettivamente per BF16 e TE NVFP4.
- Il framework migliora la qualità dell'evaluation rispetto al naive Transformer Engine (TE) NVFP4 mantenendo stabilità nel lungo termine.
- Sono stati rilasciati kernel, strumenti di diagnostica e configurazioni di addestramento per facilitare l'uso del RL a bassa precisione.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti locali, miniTE permette di sfruttare i vantaggi della computazione nativa a bit bassi (NVFP4) senza sacrificare la stabilità dell'apprendimento o richiedere modifiche all'architettura del reward model.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.