Concetto · 2 novità
Quantization-aware training
Pagina pubblicata il · ultima novità il
Cronologia
- ProQuant: Progressive Quantization-aware Training for Edge MLLMsPer gli sviluppatori di AI locale e agenti, ProQuant offre una via praticabile per deployare MLLMs avanzati su hardware edge limitato senza sacrificare le capacità percettive fondamentali. La tecnica abbatte la barriera della quantizzazione a bassa bit (W4A8), rendendo possibile l'esecuzione di modelli complessi in scenari con risorse computazionali e memoria ridotte.
- Right On Q: Recovering Reasoning under Quantization via Self-Generated TrajectoriesQuesta tecnica è cruciale per gli sviluppatori che operano su hardware locale o con risorse limitate, poiché permette di mantenere alte capacità logiche e di ragionamento anche quando si comprimono i modelli a bit molto bassi (2-3).