Rethinking Neural Thickets Without Weight Perturbations
Pubblicata su AIChronos il · fonte del · Nicolas Dufour, Elouan Gardès, Amil Dravid, Patrick Pérez, Loic Landrieu
Lo studio replica i guadagni attribuiti all'ipotesi dei Neural Thickets ma dimostra che non sono necessari perturbamenti geometrici pesanti. L'autore mostra come perturbare un singolo blocco decoder o aggiungere bias casuali ai logit, mantenendo il modello congelato, sia sufficiente a recuperare le prestazioni su compiti di ragionamento. Questa interpretazione collega l'approccio a metodi esistenti come la sampling e la self-consistency attraverso una procedura formale chiamata Perturb-Select-Vote (PSV). Un'analisi del primo ordine rivela che i piccoli perturbamenti agiscono principalmente tramite spostamenti dei logit, estendendo poi questi vantaggi alla visione artificiale sotto dominio shift.
- I miglioramenti attribuiti ai Neural Thickets possono essere ottenuti senza perturbazioni pesanti sui parametri del modello.
- La procedura Perturb-Select-Vote (PSV) genera predittori perturbati, seleziona i migliori su un set di validazione e aggrega le previsioni tramite voting.
- Perturbare solo un blocco decoder o aggiungere bias casuali ai logit è sufficiente a eguagliare o superare l'efficacia delle perturbazioni complete sui pesi.
- L'analisi del primo ordine conferma che i piccoli perturbamenti agiscono principalmente attraverso gli spostamenti indotti nei valori dei logit.
- Logit PSV offre un alternativa semplice e senza addestramento alle ensemble basate su perturbazioni di peso, valida sia per linguaggio che visione.
Perché conta. Questa ricerca è rilevante perché permette di ottenere i benefici dell'output diversity e del voting in modelli LLM locali o agenti mantenendo il modello completamente congelato (zero-shot), riducendo drasticamente l'overhead computazionale rispetto alle ensemble tradizionali. Offre una via pratica per migliorare la robustezza e le prestazioni su task complessi senza richiedere risorse aggiuntive per fine-tuning o training di nuovi ensembles.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.