IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems
Pubblicata su AIChronos il · fonte del · A. Jian Yang, An Huang, Bo Dan, Chen Mu, Chengran Yang, Chuan Shi
IQuest-Q1 è un modello fondazionale agentic basato su Mixture-of-Experts (MoE) con 320 miliardi di parametri totali e 15 miliardi attivati. Il suo sviluppo segue tre fasi: pre-addestramento stabile ed efficiente, addestramento intermedio granulare per espandere il mix dati e contesti, e post-addestramento multi-scaffold che integra segnali complementari tramite SFT, RL specializzato in dominio e MOPD. La fusione del modello combina esperti diversi mitigando i conflitti tra aggiornamenti dei parametri. Il risultato è un modello open-source capace di eccellere sia nelle attività di coding che nei compiti generali.
- Architettura MoE sparsa con capacità agentiche avanzate per sistemi CLI.
- Processo tri-fase: pre-training stabile, mid-training granulare e post-training multi-scaffold.
- Strategia di merging dei modelli che integra checkpoint diversi riducendo i conflitti parametrici.
- Preservazione di un ampio margine di stabilità tra learning rate sicuri e ottimali durante l'addestramento.
- Rilascio open-source per supportare la ricerca comunitaria nello sviluppo di agenti AI.
Perché conta. Questo modello offre una soluzione scalabile per sviluppatori che necessitano di capacità agentiche robuste in ambienti CLI, bilanciando efficienza computazionale (tramite l'attivazione selettiva degli esperti) e prestazioni elevate nel coding. La sua architettura MoE permette di gestire compiti complessi senza sovraccaricare le risorse hardware locali.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.