Modelli open-weight: chi guida e per cosa

In breve

Le fonti non contengono una classifica comparativa dei modelli open-weight, quindi non si può indicare un "migliore" in assoluto. Emergono però indicazioni per caso d'uso. Per agenti, coding e documenti, NVIDIA Nemotron 3.5 Super e la variante Bolt sono il rilascio recente più documentato ⁸. Per i fine-tuning di ragionamento e agenti terminale, la famiglia Qwen è la base più usata nei lavori citati ^7,13,16. Per voce, embedding e immagini compaiono risultati specifici: MiniCPM-o 4.5 ²², EmbeddingGemma 2 ¹⁵, Ovis-Embedding ²⁵. Mancano confronti diretti con i modelli proprietari.

Lo stato attuale

Modelli generalisti e agentici. - Nemotron 3.5 Super è un modello vision-language per coding, reasoning, tool use e comprensione di documenti. Ha un backbone ibrido Mamba-2/Transformer mixture-of-experts da 120B parametri (12B attivi per token), un encoder visivo C-RADIO, una modalità thinking on/off e contesto fino a 1M token ⁸. - Nemotron 3.5 Bolt lo distilla a 74B parametri (9B attivi). È pensato per stare su una GPU NVIDIA da 24 GB per compiti agentici quotidiani, con speculative decoding tramite drafter incluso ⁸. - vLLM v0.30.0 ha aggiunto supporto per DeepSeek-V4.1-Flash, DeepSeek-V4-Flash-Vision-Exp, GLM-5.3-Flash, K2-Horizon, Cohere Compass, Bailing V3 VL e Nanbeige4.2 ²⁶. Le note non dicono nulla sulle prestazioni relative di questi modelli. - Nemotron 3.5 Super e Bolt sono l'unico rilascio che le fonti descrivono con architettura, dimensioni e hardware target.

Qwen come base di ricerca. Qwen-3.8-27B è il modello di base di Recursive Self-Rewrite. Dopo SFT su traiettorie riscritte, il pass@3 passa dal 57,0% al 74,2% su Terminal-Bench 2 e dal 39,0% al 63,0% su un Terminal-Bench Hard auto-curato ¹⁶. È un risultato di fine-tuning ottenuto dagli autori, non un confronto tra modelli. Altri lavori usano Qwen3-4B/8B-Base e Qwen3.5-9B per l'RL sul ragionamento matematico ⁷ e Qwen3-4B e Qwen3-30B-A3B per l'RL in NVFP4 ¹³. Un paper sulla quantizzazione cita "released Qwen3.8-27B GGUF decoders" ²³.

Decision models. È un filone nuovo, in cui un modello restituisce probabilità su scelte invece di prosa. Ollama li supporta da ollama run per domande sì/no, classificazione e scoring ⁹. Unsloth permette di trasformare un LLM testuale o visivo in un decision model "Jev-style", con accuratezza da 30% a 80% secondo le sue note ¹². Un video presenta CLM, un modello open source da cui gli autori dichiarano prestazioni comparabili a JEV con latenza fino a 9 volte inferiore ¹¹. Un altro video indica Nimble e TEV1 come modelli locali per classificazione e triage; la scheda li dice basati su Qwen 3.5, ma l'estratto originale non lo conferma ¹⁴.

Voce. Duplex-MPE confronta cinque sistemi speech open-weight: MiniCPM-o 4.5, Moshi, FLM-Audio, Voila e Freeze-Omni. MiniCPM-o 4.5 è in testa su tre delle quattro capacità misurate ²². Un benchmark nuovo valuta la conversazione multi-partecipante, non la qualità vocale in generale. L'Open TTS Leaderboard usa metriche oggettive (WER, CER, RTFx, SIM) per il text-to-speech multilingue ²¹, ma gli estratti non riportano una classifica.

Embedding. - EmbeddingGemma 2, basato su Gemma 4 e con licenza Apache 2.0, mappa testo, codice, immagini, audio e video in uno spazio condiviso. Secondo la scheda è best-in-class sotto 1B parametri su MTEB Code e MAEB, con +9,92 punti su MTEB Code rispetto alla versione 1 ¹⁵. Non è disponibile il testo originale per verificare queste cifre. - Ovis-Embedding, costruito su Qwen-omni, dichiara lo stato dell'arte su MMEB-v3, MMEB-v2, MVEB, MAEB e RTEB ²⁵.

Immagini. Qwen-Image-2.1-Turbo genera in 8 passi (2,5x più veloce) in Unsloth ¹⁰. UniEvo-VL, costruito su Qwen-image-2512 open source, porta GenEval da 0,747 a 0,808 ²⁰.

Approcci e strumenti

Runtime locali. - llama.cpp: inferenza in C/C++ senza dipendenze, su x86, ARM e RISC-V, con ottimizzazioni per Apple silicon e GPU NVIDIA, quantizzazione a basso bit, CLI e server REST ². Ollama lo incorpora: la v0.40.5 aggiorna llama.cpp per supportare Nemotron 3.5 ⁸. - Ollama: pratico per provare i modelli con un comando. Le release recenti aggiungono decision models, runner MLX per Apple silicon e speculative decoding ^8,9. Il contro è la dipendenza dal ritmo di integrazione dei singoli modelli. - vLLM: orientato al serving. La v0.30.0 introduce Fast Start (--load-format ipc_cache), speculative decoding con EAGLE3 e HiSparse, che sposta le pagine KV in memoria host sotto pressione GPU ²⁶. - Transformers con GGUF: ora carica checkpoint quantizzati con from_pretrained, li serve con transformers serve e permette il fine-tuning dequantizzando (GgufConfig(dequantize=True)) ²⁷. Consente di controllare l'errore di quantizzazione senza un runtime separato. - Unsloth: aggiunge sandboxing (Bwrap, Seatbelt, MXC), browser use con modelli locali, MoE GGUF fino a 3x più veloci oltre la VRAM e speculative decoding su Mac ^10,12. Le percentuali di accelerazione sono dichiarazioni delle note di rilascio.

Quantizzazione. La Disaggregated Quantization separa prefill e decode. Con il prefiller NVFP4 il 1-bit migliora di 32,5 punti su MMLU-Pro per il 27B, e l'offloaded prefill dà 1,78x sul time-to-first-token a 8K token in llama.cpp. Il costo è un checkpoint aggiuntivo da streammare da SSD ²³.

Specializzazione. Fine-tuning RL (TPPO: +7,0 e +8,4 punti sui Qwen3 Base ⁷) e riscrittura di traiettorie ¹⁶ migliorano modelli piccoli o medi su compiti precisi. Lo studio sulla distillazione avverte che il vantaggio dei dati on-policy non persiste in modo affidabile dopo RLVR e che il learning rate governa forgetting e sparsità degli aggiornamenti ¹⁷.

Cosa provare

• Agenti su una GPU da 24 GB: Nemotron 3.5 Bolt con ollama run nemotron-3.5-bolt ⁸. Misurate voi stessi la qualità sul vostro compito, perché le fonti non danno benchmark.
• Routing e classificazione: provate un decision model locale. Il video su Nimble sostiene che i locali battano l'API hosted in latenza, ma indica che i modelli hosted restano superiori nel ragionamento profondo. La scheda riporta limiti di contesto (8k token per Nimble) ¹⁴.
• RAG locale e ricerca semantica: valutate EmbeddingGemma 2 per la sua dimensione ridotta e il contesto di 8K ¹⁵, oppure Ovis-Embedding se serve un retrieval omni-modale ²⁵.
• Mac: llama.cpp via Transformers ²⁷ oppure il runner MLX di Ollama ⁹.
• Serving in produzione: vLLM v0.30.0 ²⁶.
• Voce: partite da MiniCPM-o 4.5 per scenari full-duplex multi-parlante ²² e consultate l'Open TTS Leaderboard per il TTS ²¹.

Questioni aperte

• Nessun confronto diretto. Le fonti non confrontano i modelli open-weight tra loro né con quelli proprietari. Un video include un capitolo su "Open Weight Models vs Proprietary AI", ma le fonti riportano solo il titolo ⁶.
• Qualità delle fonti. Molti numeri vengono da autori dei modelli o da note di rilascio. Le schede automatiche contengono incertezze: per esempio la versione di Ollama citata nel video su Jev ¹⁴ non coincide con le release v0.40.x ^8,9.
• Licenze e pesi. Solo EmbeddingGemma 2 riporta esplicitamente la licenza (Apache 2.0) ¹⁵. Per gli altri modelli le fonti non specificano i termini d'uso.
• Decision models. I confronti con "JEV" e Jev sono dichiarati dagli autori e dipendono dal compito. Il video su CLM precisa che i risultati superiori valgono per CLM con fine-tuning usato come verificatore ¹¹.
• Benchmark voce e TTS. Duplex-MPE misura il comportamento conversazionale, non la qualità vocale ²². Per il TTS mancano i risultati nelle fonti ²¹.
• Da tenere d'occhio. Verifiche indipendenti di Nemotron 3.5, l'evoluzione dei decision models locali e il supporto dei runtime ai nuovi modelli ²⁶.

Fonti

2. ggml-org/llama.cpp — GitHub, in AIChronos dal 18 ottobre 2026 · scheda
6. Reverse Engineering Trends and AI Observability in the latest Matt and Ryan chat — YouTube, in AIChronos dal 17 ottobre 2026 · scheda
7. TPPO: Tracking-Value PPO For Language Model Reasoning — HF Daily Papers, in AIChronos dal 14 ottobre 2026 · scheda
8. ollama/ollama v0.40.5 — GitHub, in AIChronos dal 14 ottobre 2026 · scheda
9. ollama/ollama v0.40.4 — GitHub, in AIChronos dal 12 ottobre 2026 · scheda
10. unslothai/unsloth v0.1.906-beta — Browser Use + Qwen-Image-2.1-Turbo — GitHub, in AIChronos dal 12 ottobre 2026 · scheda
11. Nvidia ci regala il miglior Decision Model Locale (te lo spiego e lo testo) — YouTube, in AIChronos dal 11 ottobre 2026 · scheda
12. unslothai/unsloth v0.1.905-beta — Sandboxing is here! — GitHub, in AIChronos dal 8 ottobre 2026 · scheda
13. TRIAGE: Direction-Aware Mismatch Stabilization of Native NVFP4 Reinforcement Learning — HF Daily Papers, in AIChronos dal 7 ottobre 2026 · scheda
14. Don't Make This Big Mistake with Jev — YouTube, in AIChronos dal 6 ottobre 2026 · scheda
15. EmbeddingGemma 2: an open, lightweight multimodal embedding model — Blog, in AIChronos dal 6 ottobre 2026 · scheda
16. Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite — HF Daily Papers, in AIChronos dal 5 ottobre 2026 · scheda
17. On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics — HF Daily Papers, in AIChronos dal 2 ottobre 2026 · scheda
20. UniEvo-VL: An On-policy Self-Distillation Training Recipe for Multimodal Model Self-improvement — HF Daily Papers, in AIChronos dal 1 ottobre 2026 · scheda
21. Open TTS Leaderboard: Scalable Evaluation for Multilingual Text-to-Speech and Voice Cloning — Blog, in AIChronos dal 30 settembre 2026 · scheda
22. Duplex-MPE: Benchmarking Multi-Party Interaction in Full-Duplex Dialogue — HF Daily Papers, in AIChronos dal 29 settembre 2026 · scheda
23. Disaggregated Quantization: Specializing LLM Prefill and Decode — HF Daily Papers, in AIChronos dal 28 settembre 2026 · scheda
25. Ovis-Embedding: Pushing the Frontiers of Universal Omni-Modal Embeddings — HF Daily Papers, in AIChronos dal 23 settembre 2026 · scheda
26. vllm-project/vllm v0.30.0 — GitHub, in AIChronos dal 22 settembre 2026 · scheda
27. Transformers now runs llama.cpp quants — Blog, in AIChronos dal 22 settembre 2026 · scheda