On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models
Pubblicata su AIChronos il · fonte del · Leon Sick, Lukas Hoyer, Yannick Strümpler, Christian Reisswig, Timo Ropinski, Federico Tombari
Il lavoro propone un framework di auto-addestramento on-policy per modelli fondazionali che elimina la dipendenza da insegnanti esterni o dati supervisionati umani. Il modello genera autonomamente domande e risposte privilegiate basandosi esclusivamente su descrizioni tematiche ad alto livello, spingendo al limite l'auto-supervisione tramite informazioni sintetiche. Questo approccio permette di migliorare le prestazioni del modello in molteplici domini mantenendo intatte le capacità originali anche nelle aree non specificamente allenati. La metodologia dimostra la generalità dell'approccio sia su testi che su dati multimodali, migliorando i benchmark standard e il Visual Question Answering.
- Riformulazione del self-distillation on-policy come framework di auto-addestramento guidato da domande e risposte generate internamente.
- Eliminazione completa della necessità di prompt o risposte curate dall'uomo, utilizzando solo descrizioni tematiche grezze per sintetizzare il curriculum.
- Miglioramento consistente delle prestazioni su benchmark linguistici standard e compiti multimodali come il Visual Question Answering.
- Capacità del modello di amplificare le proprie potenzialità latenti senza supervisione esterna o distribuzioni di problemi curate.
- Validazione dell'approccio in domini sia testuali che multimodali, confermando la versatilità della tecnica.
Perché conta. Per uno sviluppatore focalizzato su LLM e agenti locali, questa ricerca offre una via per migliorare i modelli senza costi di data labeling o accesso a dataset esterni costosi. Rappresenta un passo avanti verso sistemi AI autonomi che possono evolversi da soli in ambienti isolati (air-gapped), riducendo la dipendenza dall'infrastruttura cloud e dai dati curati.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.