Route Anything: A Study of Model and Policy Routing for General-Purpose AI Systems
Pubblicata su AIChronos il · fonte del · Pengfei Zhou, Yixing Ma, Hexin Wang, Weidong Tang, Zhenglin Wan, Wangbo Zhao
Route Anything è un framework unificato che studia il routing di modelli e politiche per sistemi AI general-purpose (AGI), orchestrando ecosistemi eterogenei invece di affidarsi a singoli modelli. L'approccio si basa su una fondazione teorica che caratterizza il routing ottimale sotto compromessi qualità-coste, utilizzando una matrice omni-modale con oltre 374k esecuzioni su 25 benchmark. I risultati dimostrano che il routing dinamico supera i candidati fissi migliori e migliora significativamente l'efficienza computazionale rispetto ai modelli di riferimento.
- Costruzione di una matrice omni-modale con 374,401 run su 25 benchmark che copre linguaggio, immagini, video, audio, coding e robotica.
- Il routing per-input oracle supera il miglior candidato fisso del 5.4 punti mediamente sui benchmark testati.
- I router appresi superano i candidati fissi utilizzando il 24% in meno di tempo politico (policy time) su compiti specifici come la generazione video e manipolazione robotica.
- Il routing aumenta l'efficienza complessiva dell'8.82 volte rispetto al modello di riferimento utilizzato per le inferenze standard.
Perché conta. Per gli sviluppatori che lavorano con LLM, agenti o sistemi AI locali, questo paper offre una via concreta per ridurre i costi computazionali e migliorare le prestazioni senza sacrificare la qualità, orchestrando dinamicamente modelli specializzati in base al task specifico.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.