Robotica e world models

In breve

Le fonti mostrano una convergenza su due fronti. Da un lato, i world action model (WAM) addestrano insieme la previsione della dinamica visiva e la generazione di azioni, e i primi risultati indicano un beneficio reciproco ^2,6,7,17. Dall'altro, VLM generici e coding agent controllano i robot tramite un harness (strumenti, skill, feedback di esecuzione) senza addestramento specifico sul robot ^16,20,22,31. In parallelo cresce una famiglia di benchmark che misura la coerenza dei world model e ne evidenzia lacune ancora ampie ^3,8,28. Le fonti sono quasi tutte preprint con risultati autodichiarati: non permettono di stabilire quale approccio prevalga.

Lo stato attuale

World model e azione addestrati insieme. - OneWM tratta le azioni sia come condizione per la previsione del mondo sia come target della policy. Gli autori riportano che imparare le conseguenze visive delle azioni migliora policy e generalizzazione, e che imparare ad agire migliora la fedeltà della previsione multivista ². - Long-WAM mostra che la storia visiva serve solo se il video foundation model è pre-addestrato in modo autoregressivo. Su RoboCasa GR-1, portare il contesto da 0,0 a 19,2 secondi alza il successo dal 63,3% al 78,7%, mentre un'inizializzazione pre-addestrata in modo bidirezionale non ottiene alcun guadagno netto ⁶. Su RTX 5090 ogni action chunk, inclusa la previsione latente del video futuro, richiede 107,4 ms. Su Unitree G1 e YAM il sistema raggiunge il 95% di successo nell'impilare tazze in modo dinamico, dove Pi0.5 e Fast-WAM non riescono in nessuna delle 20 prove ⁶. - GreenWAM usa uno spazio d'azione anatomico condiviso tra 20 famiglie di robot e un solo modello come world model e come policy. Gli autori lo dichiarano ai vertici su WorldArena 1.0 e tra i primi della classifica RoboTwin 2.0. Su un umanoide reale supera le policy adattate da π₀.₅ e da Cosmos 3 Edge ⁷. - ProWAM predice sotto-obiettivi visivi sparsi invece di video densi e ottiene 85,8% su LIBERO-Plus e 75,7% su RoboTwin randomizzato ¹⁷. - NAVA-WAM pre-addestra direttamente la policy d'azione da video privi di annotazioni di azioni ¹⁸. - InternW0-Δ combina prior di dinamica, semantica e geometria 4D su oltre 20K ore di dati, che gli autori definiscono il più grande corpus open-source del suo tipo ²³. - VLA-Δ supervisiona esplicitamente la transizione fisica tra stato corrente e futuro, senza overhead in inferenza ¹.

VLM e agenti con harness. - MotorMind raggiunge il 66,7% su LIBERO-PRO (53,8% con perturbazioni), contro un massimo di 13,3% e 19,2% dei metodi zero-shot precedenti valutati dagli autori. Su un xArm6 reale arriva al 95% medio ¹⁶. - RoboDawn passa su RoboTwin 2.0 C2R dal 53,2% zero-shot al 73,6% con una sola dimostrazione in contesto, contro il 46,0% di π₀.₅ ³¹. - ASENA fa programmare a un coding agent navigazione e manipolazione umanoide con pesi fissi. Con l'evoluzione persistente del workspace il successo sale dal 72% al 98% su R2R e dal 65% all'89% su RxR, sui sottoinsiemi ricorrenti di 100 task ²⁰. - Recova lavora su un gemello digitale per il recupero dai fallimenti. Con DAgger e skill di recupero porta il successo medio dal 23,8% all'87,5%, e l'intervento umano osservato scende dall'87,5% a 0% in quattro round ¹⁹. - Robota-Embed recupera esperienze passate come contesto. Con Embed2ICL il successo sale dal 47,0% al 56,3% in DROID-Sim ⁴. - CoWorld Reasoner usa un video world model come motore di "immaginazione visiva" per un VLM e supera il ragionamento diretto con lo stesso VLM su sette benchmark ⁵. - Secondo la sola scheda del blog su Gemini 4 Argon (nessun testo originale disponibile), il modello ottiene 87% su ERQA e porta il successo reale da 56% a 75% usando simulazioni ricostruite con Real2Sim ⁹. Questi numeri non sono verificabili sul testo.

World model linguistici per agenti software. Trace2Env ricostruisce ambienti da tracce storiche, senza il sistema originale ¹³. AEWM modella come ragionamento e azioni influenzano il progresso del task ²⁵.

Approcci e strumenti

• WAM end-to-end ^{2,6,7,17,18,23}. Pro: sfruttano video senza etichette d'azione ^6,18 e mostrano robustezza fuori distribuzione ¹⁷. Contro: servono pre-addestramento su larga scala e ottimizzazioni per il tempo reale. Long-WAM ricorre a encoding in streaming, esecuzione asincrona e accelerazione hardware-specifica ⁶.
• Harness su VLM/coding agent ^16,20,22,31. Pro: sfruttano i progressi dei VLM generici senza riaddestrare ¹⁶. Contro: MotorMind dichiara che le prestazioni dipendono dal backbone VLM e dal suo ragionamento embodied ¹⁶. Per la tesi di "Physical Coding" ²² le fonti riportano solo l'esito su RoboCasa365 e un'indicazione generale, senza cifre nell'estratto.
• Policy con grounding esplicito ³⁰. GAM condiziona su linguaggio, punti o box e usa geometria metrica degli oggetti: 55,3% su RoboTwin 2.0 (vs 52,0% di Spatial Forcing) e 61% su LIBERO-PRO (vs 53% di π₀.₅) ³⁰.
• Inferenza veloce ¹⁵. Kinematic MeanFlow genera azioni in un solo passo e riduce la latenza dell'action head di GR00T-N1.6 del 67,5–74,4%, e quella end-to-end del 30,3–54,9% ¹⁵.
• Valutazione ^3,8,28. Orbia misura la coerenza 3D ³, ExeWorldBench i mondi eseguibili da codice ⁸, HappyWorld-Bench qualità e reattività su tre track ²⁸.

Cosa provare

• Per un prototipo con un VLM già disponibile, partire da un harness con azioni di medio livello e feedback in loop chiuso, come in MotorMind ¹⁶ o RoboDawn ³¹. Aggiungere una o poche dimostrazioni in contesto: in ³¹ una sola fa la differenza.
• Per policy con generazione di azioni lenta, valutare la distillazione a un passo di ¹⁵ e, se si segue la strada WAM, il caching dei sotto-obiettivi di ¹⁷ o l'assenza di rollout video in inferenza di ²³.
• Per sfruttare dati video non annotati, il recipe a due stadi di ¹⁸ è il riferimento più diretto.
• Per ridurre i fallimenti in deployment, il ciclo gemello digitale più dimostrazione umana di ¹⁹ è documentato con metriche per round.
• Per simulare ambienti di cui si hanno solo log, Trace2Env ¹³ è learning-free.
• Prima di scegliere un world model generativo, testarlo con Orbia ³ o HappyWorld-Bench ²⁸.
• Il codice è dichiarato disponibile per VLA-Δ ¹ e EmbodiedCLBench ¹¹.

Questioni aperte

• Affidabilità dei world model. HappyWorld-Bench rileva consistenza ridotta nei rollout estesi e difficoltà a preservare lo stato nelle azioni multi-step. I modelli spaziali toccano al massimo il 70,14% di posizionamento corretto e il 73,33% di esecuzione delle modifiche ²⁸. Orbia parte dall'osservazione che frame realistici non implicano un mondo 3D coerente ³. ExeWorldBench segnala limiti sostanziali nei modelli di frontiera ⁸. Anche la permanenza degli oggetti è trattata come capacità da addestrare esplicitamente ²⁴.
• Apprendimento dall'esperienza. In EmbodiedCLBench l'esperienza dai task semplici aiuta, ma il miglioramento non scala col numero di campioni e gli agenti non estraggono informazione utile dall'esperienza aggiuntiva ¹¹. Questo si contrappone ai guadagni iterativi di ¹⁹ e ²⁰, ottenuti in setup diversi.
• Confrontabilità. I numeri provengono da benchmark e protocolli diversi (LIBERO, LIBERO-Plus, LIBERO-PRO, RoboTwin, RoboCasa365) e dichiarazioni degli autori. Le fonti non offrono confronti omogenei né replicazioni indipendenti tra WAM e agenti con harness.
• Documentazione incompleta. Per Gemini 4 Argon ⁹ manca il testo originale. In diversi abstract le sezioni conclusive sono troncate (ad esempio ^3,10).
• Da seguire. Non è chiaro se la strada end-to-end (WAM) e quella modulare (harness) convergeranno. Alcune fonti le usano già insieme: l'harness chiama policy VLA/WAM come strumenti ²², e GAM può fare da controller di basso livello sotto un pianificatore ³⁰.

Fonti

1. VLA-Δ: Learning Physical State Transition for Vision-Language-Action Models — HF Daily Papers, in AIChronos dal 18 ottobre 2026 · scheda
2. Can World and Action Modeling Benefit Each Other under Unified Causal Training? — HF Daily Papers, in AIChronos dal 18 ottobre 2026 · scheda
3. Orbia: Do Generated Videos Form a Consistent 3D World? — HF Daily Papers, in AIChronos dal 18 ottobre 2026 · scheda
4. Robota-Embed: Unified VLA Embeddings for Robot In-Context Learning and Evolution — arXiv (autori seguiti), in AIChronos dal 17 ottobre 2026 · scheda
5. CoWorld Reasoner: Agentic Multimodal Reasoning with the Evolving Video World Model-Driven Harness — arXiv, in AIChronos dal 17 ottobre 2026 · scheda
6. Long-WAM: Scaling the Context of World-Action Models — arXiv (autori seguiti), in AIChronos dal 17 ottobre 2026 · scheda
7. GreenWAM: A World Foundation Model for Robotics — HF Daily Papers, in AIChronos dal 14 ottobre 2026 · scheda
8. ExeWorldBench: Benchmarking Code-Based Executable 3D World Modeling — HF Daily Papers, in AIChronos dal 14 ottobre 2026 · scheda
9. Gemini 4 Argon for Robotics — Blog, in AIChronos dal 13 ottobre 2026 · scheda
10. Reflex: Visually Grounded Reactive Humanoid Control — HF Daily Papers, in AIChronos dal 12 ottobre 2026 · scheda
11. EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents — HF Daily Papers, in AIChronos dal 12 ottobre 2026 · scheda
13. From Traces to Agentic Worlds: Agentic Language World Models for Interactive Environment Simulation — HF Daily Papers, in AIChronos dal 9 ottobre 2026 · scheda
15. Kinematic MeanFlow: One-Step Action Generation Policy for Robotic Foundation Models — HF Daily Papers, in AIChronos dal 7 ottobre 2026 · scheda
16. MotorMind: Scaffolding General Vision Language Models for Zero-Shot Robot Manipulation — HF Daily Papers, in AIChronos dal 5 ottobre 2026 · scheda
17. World Action Modeling with Progressive Visual Planning — HF Daily Papers, in AIChronos dal 5 ottobre 2026 · scheda
18. Native Action-Prior Learning from Videos for World Action Models — HF Daily Papers, in AIChronos dal 5 ottobre 2026 · scheda
19. Recova: Agent-Guided Failure Recovery for Autonomous Robotic Manipulation — arXiv (autori seguiti), in AIChronos dal 1 ottobre 2026 · scheda
20. ASENA: Self-evolving Agents for Embodied Navigation — arXiv (autori seguiti), in AIChronos dal 30 settembre 2026 · scheda
22. Self-Evolving Coding Agents: From Digital Programs to Physical-World Intelligence — HF Daily Papers, in AIChronos dal 29 settembre 2026 · scheda
23. InternW0-Δ: A World Action Model Bridging Predictive Dynamics and Actions with 20K+ Hours of Open Data — HF Daily Papers, in AIChronos dal 28 settembre 2026 · scheda
24. Training Object Permanence in World Models — HF Daily Papers, in AIChronos dal 25 settembre 2026 · scheda
25. Agent-Editing World Model: Rethinking World Modeling for LLM Agents — HF Daily Papers, in AIChronos dal 25 settembre 2026 · scheda
28. HappyWorld-Bench — HF Daily Papers, in AIChronos dal 24 settembre 2026 · scheda
30. Grounded Action Model: 3D Grounding as a Foundation for Robotics — HF Daily Papers, in AIChronos dal 22 settembre 2026 · scheda
31. Transferring the Intelligence of VLMs to Robotic Control — HF Daily Papers, in AIChronos dal 22 settembre 2026 · scheda