MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement
Aggiunta all'archivio di AIChronos il (numero del 9 ottobre 2026 ricostruito)· fonte del · Core Team, Zongming Qiao, Ziyue Hua, Zirui Ou, Zihao Yue, Zihan Jiang (Xiaomi MiMo)
Il report introduce la serie MiMo-V2.6, un'architettura omni-modale che spinge i confini dell'intelligenza dei modelli scalando il calcolo del reinforcement learning (RL). Prima di applicare RL, viene eseguita una fase di addestramento intermedio su corpus multimodali ampi per fornire uno spazio esplorativo sufficiente e costruire infrastrutture solide basate su un'architettura ibrida fine-tunata. Lo scaling avviene lungo tre dimensioni: batch più grandi con throughput elevato in modalità asincrona, ambienti più diversificati (codice, generale, visivo, cyber) e calcolo del grader migliorato tramite agentic grading a livello di gruppo per segnali di reward accurati.
- L'addestramento RL utilizza batch asincroni che consumano fino a 2.7-3.7B token al passo con lunghezze contestuali fino a 1M.
- Viene implementata una difesa multi-livello contro il reward hacking, congelando il router MoE durante l'addestramento su larga scala.
- L'infrastruttura supporta RL agentic per compiti misti grazie alla rappresentazione unificata delle traiettorie e al rollout ad alta concorrenza.
- Il gruppowise agentic grading guida i modelli verso soluzioni più brevi ed efficienti in termini di token per task a lungo termine.
- Tutti gli ambienti, le dinamiche di training e il framework RL sono open-source per facilitare la riproduzione dei risultati.
Perché conta. Questa architettura è rilevante perché offre un percorso concreto per migliorare i modelli locali attraverso l'auto-miglioramento guidato dal reinforcement learning senza dipendere esclusivamente da risorse cloud massive. Gli sviluppatori possono sfruttare le infrastrutture open-source e gli ambienti diversificati per addestrare agenti più robusti in domini complessi come il codice o la cybersecurity.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.