Concetto · 2 novità
scaling law
Pagina pubblicata il · ultima novità il
Cronologia
- Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual WorldsQuesta ricerca è cruciale per gli sviluppatori che costruiscono agenti AI locali o LLM, poiché definisce i limiti attuali del scaling nei mondi virtuali e indica la necessità di strategie di training ibride (oltre al solo pre-training) per raggiungere una vera generalizzazione in ambienti non visti.
- MassAlloc Attention: Let Attention Allocate Its Own ComputePer gli sviluppatori che lavorano con LLM, agenti AI o deployment locale, MALA offre un modo pratico per ridurre drasticamente i costi di training (FLOPs) e inference senza sacrificare le capacità cognitive del modello, rendendo fattibile l'uso di contesti lunghi su hardware limitato.