ProQuant: Progressive Quantization-aware Training for Edge MLLMs
Pubblicata su AIChronos il · fonte del · Yufei Xue, Yushi Huang, Jiawei Shao, Pingcheng Dong, Yonghao Tan, Shiyao Li
ProQuant è un framework di training consapevole della quantizzazione (QAT) progettato per ottimizzare i Multi-modal Large Language Models (MLLMs) a bassa precisione bit per dispositivi edge. Il metodo introduce uno schema di auto-ri-etichettatura (SRL) per allineare le distribuzioni dei dati e una visione decoupled delle capacità di comprensione multimodale e di modellazione linguistica. Attraverso un meccanismo di attivazione progressiva a blocchi (PBA), il framework priorizza il recupero della comprensione multimodale identificando i livelli critici tramite un fattore sensibile alla visione. Gli esperimenti dimostrano che ProQuant supera i metodi esistenti, migliorando significativamente l'accuratezza in regime W4A8 con una perdita di prestazioni minima rispetto alla precisione piena.
- Introduzione di uno schema Self-Relabeling (SRL) per resampling le risposte dei dataset multimodali open-source e allineare le distribuzioni finetuning e pre-training.
- Implementazione di una visione decoupled delle capacità di comprensione multimodale (MM understanding) e di modellazione linguistica per un recupero mirato.
- Utilizzo di un meccanismo Progressive Block Activation (PBA) che identifica i livelli critici tramite un fattore sensibile alla visione ($\vecτ$).
- Raggiungimento di prestazioni W4A8 comparabili ai controparti a precisione piena con una degradazione dell'accuratezza media del solo 1% su modelli da 2B-8B parametri.
- Superamento significativo dei metodi esistenti di post-training quantization (PTQ) che soffrono di degrado severo in bassa bit-width.
Perché conta. Per gli sviluppatori di AI locale e agenti, ProQuant offre una via praticabile per deployare MLLMs avanzati su hardware edge limitato senza sacrificare le capacità percettive fondamentali. La tecnica abbatte la barriera della quantizzazione a bassa bit (W4A8), rendendo possibile l'esecuzione di modelli complessi in scenari con risorse computazionali e memoria ridotte.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.