Policy-Mask: Budget-Aware Adaptation of Diffusion Features to Discriminative Tasks
Pubblicata su AIChronos il · fonte del · Ivan Listopadov, Maksim Nakhodnov, Aibek Alanov
Policy-Mask è un metodo che seleziona dinamicamente timestep, blocchi di rete e sottoinsiemi di canali da modelli diffusion frozen per compiti discriminativi, ottimizzando la scelta congiuntamente rispetto a un budget predeterminato. Per stabilizzare l'addestramento delle policy head, il contributo dei punteggi del canale viene normalizzato in base alla cardinalità dell'underlying subset, evitando che domini gli aggiornamenti degli altri parametri. L'approccio supera le baselines fisse e i filtri di feature su benchmark come ADE20K, CIFAR-100 e SPair-71k, raggiungendo performance elevate anche con dimensioni ridotte (es. 128 dimensions). Il framework è ulteriormente adattato a architetture transformer-based per diffusion, inclusi PixArt-Σ e SD3.5 MMDiT.
- Policy-Mask seleziona congiuntamente timestep, block depth e canali sotto un vincolo di budget specifico.
- La normalizzazione del punteggio dei canali rispetto alla cardinalità dell'underlying subset stabilizza il training joint delle policy heads.
- Il metodo supera le baselines fisse su task di segmentation, classification e semantic correspondence con risultati significativi (es. 38.9 mIoU su ADE20K).
- L'analisi component-wise evidenzia che la selezione dei blocchi ha un impatto materiale sull'accuratezza downstream.
- Il framework è esteso a modelli transformer-based come PixArt-Σ e SD3.5 MMDiT sostituendo i canali U-Net con dimensioni hidden degli image-tokens.
Perché conta. Per uno sviluppatore che lavora su AI locale o agenti, Policy-Mask permette di ottenere rappresentazioni compatte ed efficienti da modelli diffusion senza addestrarne una nuova istanza completa, ottimizzando l'uso del budget computazionale e della memoria.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.