Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs
Pubblicata su AIChronos il · fonte del · Donghyeon Cho, Joowon Kim, Seungho Shin, Eunho Yang
Il metodo LOWN introduce un routing visivo guidato dai certificati per i modelli Diffusion Vision-Language (DVLM), decidendo dinamicamente a ogni passo di denoising se elaborare l'immagine o meno. Analizzando le previsioni con e senza immagine, il sistema certifica la validità delle predizioni generate senza input visuale quando queste coincidono con quelle condizionate dall'immagine. Questa strategia riduce drasticamente i FLOPs necessari per l'inferenza mantenendo quasi intatta la qualità del modello su dieci benchmark diversi.
- LOWN elimina il processing dell'intera immagine a ogni passo quando non strettamente necessario, risparmiando risorse computazionali.
- Il metodo utilizza un meccanismo di 'certificazione': se una previsione senza immagine è in accordo con quella condizionata dall'immagine, i token vengono riutilizzati.
- L'algoritmo si adatta automaticamente ai diversi benchmark poiché la necessità dell'input visivo varia nel tempo e tra task.
- LOWN funziona come un modulo ortogonale che può essere combinato con tecniche di pruning dei token visivi esistenti.
- Il sistema opera senza training aggiuntivo o soglia sintonizzata, raggiungendo il 99.6% del punteggio originale a solo il 35.3% dei FLOPs.
Perché conta. Per gli sviluppatori di AI locale e agenti autonomi, LOWN offre un modo per ridurre significativamente i costi energetici e computazionali delle inferenze visive senza sacrificare le prestazioni.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.