Sezione
Efficienza dell'inferenza
38 novità raccolte · ultima il
Quali tecniche rendono l'inferenza degli LLM più veloce ed economica (speculative decoding, MoE, long context)?
Le fonti indicano tre famiglie di tecniche complementari. Il speculative decoding accelera la generazione con un drafter e una verifica. È ormai supportato negli strumenti di serving e in quelli locali. I modelli MoE riducono il costo per token attivando solo una parte dei parametri: 23B su 501B, 42B su 816B, 12B su 120B. Sul long context il collo di bottiglia è la memoria di KV cache e stati ricorrenti. Le contromisure sono architetture ibride, quantizzazione degli stati, tiering della memoria, riuso della cache e riduzione dei token visivi. Le fonti non offrono un confronto diretto fra queste tecniche su un unico carico di lavoro, quindi i guadagni vanno letti caso per caso.
Leggi il dossier completo →Ultime novità della sezione
- MLExpert: Towards a Generalist Agentic Model for Autonomous Machine Learning Engineering['Rappresenta un passo cruciale verso sistemi di ingegneria del machine learning completamente autonomi, riducendo la necessità di intervento umano diretto nella gestione delle lunghe traiettorie sperimentali.', "Offre una via praticabile per l'ottimizzazione locale e lo sviluppo di agenti complessi che possono adattarsi dinamicamente alle condizioni dell'esecuzione senza richiedere ri-allenamento continuo da zero."]
- DLite: History-free Speculative Decoding for Agentic AIPer gli sviluppatori che lavorano con agenti AI e modelli locali, DLite offre un modo pratico per accelerare l'inference senza essere penalizzati dalla gestione di contesti in continua espansione. Questo approccio risolve il collo di bottiglia del cache KV storico, rendendo fattibile lo speculative decoding anche in scenari complessi tipici degli agentic workloads.
- Speculative Forcing for Efficient Autoregressive Video GenerationÈ rilevante per uno sviluppatore che lavora con LLM, agenti e AI locale perché offre una soluzione efficiente per l'accelerazione della generazione video autoregressiva mantenendo la qualità.
- ollama/ollama v0.40.7-rc0 — v0.40.7Questi miglioramenti sono rilevanti per uno sviluppatore che lavora con LLM, agenti e AI locale poiché aumentano la flessibilità e l'efficacia delle risposte generale dei modelli.
- Welcome Beam: a 501B open model you can own, customize, and scalePer uno sviluppatore che lavora con LLM, agenti e AI locale, Welcome Beam offre un modello potente e flessibile, adattabile tramite fine-tuning e integrabile in diversi scenari computazionali.
- InfiniSplat v2: Analyzing and Improving Feed-Forward 3DGS from Any ViewsPer uno sviluppatore che lavora con LLM, agenti e AI locale, InfiniSplat v2 offre un approccio innovativo per migliorare la qualità del rendering 3D, che può essere integrato in sistemi di visuale artificiale per aumentare l'efficacia delle rappresentazioni 3D.
- Cortex: Consolidating Context into Parametric MemoryPer gli sviluppatori di agenti e sistemi AI locali, Cortex offre una soluzione per mitigare la perdita di performance dopo l'eliminazione o l'aggiornamento del contesto (context removal), permettendo di consolidare dinamicamente i guadagni senza degradare le capacità preesistenti.
- huggingface/transformers v5.20.0 — Release v5.20.0Questa release è cruciale per gli sviluppatori che costruiscono agenti AI locali o sistemi multimodali, poiché abilita l'uso di modelli a contesto ultra-lungo e architetture Mixture of Experts in modo sicuro e ottimizzato su hardware eterogeneo.
- GreenWAM: A World Foundation Model for RoboticsQuesto lavoro è rilevante per gli sviluppatori che lavorano con LLM, agenti e AI locale perché dimostra come un singolo modello fondazionale possa gestire sia la simulazione del mondo fisico (world model) sia il controllo decisionale (policy), riducendo la necessità di addestrare architetture separate. Inoltre, l'approccio alla separazione dell'esperto delle azioni offre spunti per ottimizzare i processi di fine-tuning e distillazione in ambienti con risorse computazionali limitate.
- ollama/ollama v0.40.5Questa release è cruciale per gli sviluppatori che operano in ambienti locali o ibridi perché offre modelli ad alte prestazioni (Nemotron) ottimizzati per hardware specifico come le GPU NVIDIA da 24 GB, riducendo i costi di inferenza. Inoltre, l'integrazione nativa del cloud decision models e il supporto agli errori nelle conversazioni con tool calls estendono la capacità degli agenti AI senza richiedere infrastrutture complesse.
- GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash SpeedPer gli sviluppatori che costruiscono agenti o LLM locali, questo approccio riduce drasticamente la latenza dell'inferenza visiva senza sacrificare precisione, rendendo possibile l'integrazione di grounding rapido in pipeline sensibili al tempo.
- unslothai/unsloth v0.1.907-beta — Large Performance Gains + More Browser UseQuesta release è cruciale per gli sviluppatori che operano in ambienti locali o ibridi, offrendo accelerazioni tangibili nell'inference e riducendo i colli di bottiglia hardware su diverse architetture GPU. La capacità di gestire agenti autonomi direttamente dentro l'editor VS Code e supportare flussi di lavoro complessi come la generazione video locale abbassa le barriere all'uso pratico dei modelli avanzati.
- Run fast, private agents on-device with LFM2.5-24B-A2BPer gli sviluppatori che costruiscono agenti AI locali o edge computing, questo modello offre un compromesso ottimale tra potenza cognitiva (ragionamento esplicito) ed efficienza energetica, permettendo di eseguire task complessi senza costi cloud né latenza di rete.
- ollama/ollama v0.40.4Questa release è cruciale per gli sviluppatori che costruiscono agenti AI locali, poiché permette di integrare logiche decisionali complesse e embedding multimodali direttamente nell'infrastruttura locale senza dipendenze cloud. L'affidabilità migliorata del speculative decoding e la gestione degli stati lunghi riducono i tempi di inferenza e aumentano la stabilità dei flussi di lavoro basati su modelli locali.
- unslothai/unsloth v0.1.906-beta — Browser Use + Qwen-Image-2.1-TurboQuesta release è cruciale per gli sviluppatori che operano in ambienti locali o ibridi, offrendo accelerazioni hardware-specifiche (Apple Silicon/NVIDIA/AMD) e riducendo la dipendenza da cloud costosi. Consente di implementare agenti autonomi con capacità visive avanzate e training personalizzato su architetture emergenti senza sacrificare le prestazioni.
- Building age estimation based on widely available multi-source1 geospatial dataSebbene il dominio sia geospaziale, le tecniche presentate come l'uso di backbone pre-addestrati con fine-tuning adapters e i vincoli ordinali (TOCL) offrono pattern architetturali rilevanti per lo sviluppo di agenti AI che devono gestire dati eterogenei o rispettare vinchetti logici temporali nelle inferenze.
- AgentGarten: Code Worlds for Evolving AgentsPer uno sviluppatore che lavora con LLM e agenti locali, AgentGarten offre un metodo per scalare la difficoltà degli ambienti simulati senza sacrificare la fedeltà visiva o l'interattività in tempo reale. Questo permette di addestrare agenti più efficienti tramite distillazione continua delle esperienze, riducendo i costi computazionali rispetto ai metodi convenzionali.
- TokenRouter: Efficient Serving System for Token-Level LLM RoutingPer gli sviluppatori che lavorano con LLM o agenti locali, TokenRouter offre un modo pratico per implementare routing fine-grained senza la complessità di gestione della desincronizzazione e dei ritardi tipici degli attuali sistemi.
- MiMo-V2.6: Scaling Reinforcement Learning Towards Self-ImprovementQuesta architettura è rilevante perché offre un percorso concreto per migliorare i modelli locali attraverso l'auto-miglioramento guidato dal reinforcement learning senza dipendere esclusivamente da risorse cloud massive. Gli sviluppatori possono sfruttare le infrastrutture open-source e gli ambienti diversificati per addestrare agenti più robusti in domini complessi come il codice o la cybersecurity.
- STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State QuantizationPer gli sviluppatori che gestiscono LLM e agenti, STEPQuant offre un modo efficace per mitigare il collo di bottiglia della memoria nei server concorrenti senza sacrificare drasticamente l'accuratezza del modello.
- Pollo AI turns creative ideas into campaigns with OpenAIPer uno sviluppatore che lavora con LLM e agenti AI locali, questo caso studio illustra l'importanza dell'inference ibrida (routing dinamico tra modelli diversi) per bilanciare latenza, costo e qualità del ragionamento in pipeline complesse.
- TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language ModelsPer gli sviluppatori che lavorano con LLM locali o agenti autonomi, TRACE offre un modo per ridurre drasticamente i costi di memoria e computazione durante il fine-tuning RL senza sacrificare le prestazioni inferenziali rispetto alla precisione standard.
- Kinematic MeanFlow: One-Step Action Generation Policy for Robotic Foundation ModelsPer gli sviluppatori di agenti autonomi o sistemi robotici locali, K-MF offre un modo pratico per accelerare drasticamente l'inferenza senza sacrificare la precisione, rendendo fattibile il deployment in tempo reale.
- huggingface/transformers v5.19.0 — Release v5.19.0Questa release è cruciale per gli sviluppatori di agenti AI locali perché ottimizza l'uso della memoria attraverso configurazioni granulari della cache, riduce i tempi di inferenza abilitando il continuous batching nativo e semplifica la scalabilità orizzontale dei modelli MoE tramite nuove strategie di parallelismo esperto.
- vllm-project/vllm v0.31.0Questa release è cruciale per gli sviluppatori che operano con LLM locali o agenti autonomi poiché offre strumenti concreti per scalare l'inferenza su hardware enterprise (Hopper) riducendo i tempi di latenza e mitigando rischi di OOM durante il profiling MoE. Inoltre, le nuove garanzie di sicurezza proteggono da collisioni nei cache dei LoRA e attacchi tramite parametri multimodali non validati.
- Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMsPer gli sviluppatori che operano con LLM e agenti locali, HeteroFold riduce drasticamente la latenza e il consumo computazionale permettendo l'uso combinato di modelli eterogenei senza sovraccaricare i nuovi nodi della rete con operazioni di prefilling costose.
- Mid-Harness: Scaling Actions Between Model and Harness for Terminal AgentsPer gli sviluppatori che costruiscono agenti AI locali o sistemi autonomi, Mid-Harness offre una via per aumentare l'affidabilità dell'esecuzione dei comandi senza dover riaddestrare i modelli base. Questo approccio è cruciale in ambienti dove un errore di comando (come installare il pacchetto sbagliato) può bloccare irreversibilmente la sessione.
- Harnessing Domain Specialists in Multimodal Mixture-of-Experts for Efficient AdaptationÈ rilevante perché permette di adattare modelli LLM e multimodali in modo efficiente su hardware locale, aggiornando solo una frazione dei parametri tramite tecniche come il fine-tuning selettivo degli esperti MoE.
- huggingface/transformers v5.18.0 — Release 5.18.0Questa release è cruciale per gli sviluppatori che operano con LLM e agenti locali poiché abilita l'uso efficiente su hardware eterogeneo (AMD/XPU), introduce capacità di ragionamento multimodale avanzate e stabilizza il deployment tramite correzioni critiche sulla gestione della memoria e dell'inizializzazione.
- We Benchmarked Jev, Nimble, & a Simulated Fly Brain Playing DOOM on Matt and Ryan have a chatPer gli sviluppatori di sistemi autonomi e locali, comprendere l'uso di modelli ultra-rapidi per il routing sicuro (tiebreaking) è essenziale per costruire agenti affidabili che non espongano la logica interna dei LLM principali.