Programmare con l'AI: strumenti e tecniche

In breve

Dalle fonti emerge un quadro netto: i coding agent funzionano bene dove esiste un verificatore automatico (test, simulatore, controllo di esecuzione) e peggio dove il requisito è ampio o la valutazione è soft. In pianificazione robotica gli agenti sintetizzano programmi che battono i planner scritti a mano ¹⁴; sui benchmark di ingegneria software il margine d'errore resta alto ^3,6,10. Le tecniche che pagano sono il feedback eseguibile, la verifica indipendente del risultato e l'addestramento con RL su ambienti verificabili ^20,2. Le fonti non confrontano però strumenti commerciali di uso quotidiano (assistenti in IDE, ecc.): su questo non c'è materiale sufficiente.

Lo stato attuale

Dove gli agenti funzionano. Nel Task and Motion Planning generalizzato, Claude Code (Opus 5) e Codex (GPT-5.6 Sol, GPT-6 Astra) superano planner hand-engineered, generazione one-shot e una baseline di generalized planning: successo medio dal 56% al 95% contro il 47% dei planner, sui 16 ambienti in cui un planner è disponibile ¹⁴. Lo studio ha valutato 980 programmi su 100 istanze non viste ciascuno, 98.000 episodi in totale ¹⁴. I log mostrano che gli agenti usano il simulatore per calibrare modelli fisici e affinare le strategie prima della valutazione finale ¹⁴.

Nell'osservazione della Terra, un coding agent generico, dato solo un harness (cosa può usare) e un verifier (cosa conta come successo), costruisce modelli che superano lo stato dell'arte su sei benchmark; sul land-cover mapping ci riesce con l'11% delle label di training ⁷. Nella robotica umanoide, ASENA fa programmare agli agenti navigazione e manipolazione con pesi fissi; l'evoluzione persistente dello workspace con feedback del simulatore porta il successo dal 72% al 98% su R2R e dal 65% all'89% su RxR, su sottoinsiemi ricorrenti di 100 task ¹¹.

Dove falliscono ancora. - Doc2Harness (costruire un harness completo per agenti): il migliore, GPT-6 Astra, passa il 53,05% dei 328 test case, il più debole il 27,44%, su 19 modelli; i fallimenti si concentrano su come la funzionalità trasversale è divisa tra i moduli ³. - AgentSWE (25 task, agenti che costruiscono agenti): nessun agente si avvicina a consegnare ciò che il requisito chiede; il divario tra ciò che il builder mostra e ciò che consegna è la norma. I fallimenti ricorrenti sono overfitting ai casi visibili, runtime vuoti dietro codice apparentemente completo e dichiarazioni di completamento non supportate ⁶. - CheckerBench (sintesi di checker di analisi statica, 300 task da 297 CVE): Pass@1 medio 32,30%, massimo 45,33% ¹⁰. - ExeWorldBench segnala limiti sostanziali nella modellazione di mondi 3D eseguibili tramite codice ⁴.

Affidabilità delle misure. SchrodingerRepo mostra che rimuovere indizi familiari (nomi, layout dei file, pattern) degrada in modo costante le prestazioni su SWE-bench Verified e SWE-QA e aumenta i costi di interazione, soprattutto per esplorazione e localizzazione; gli agenti attuali sembrano in parte affidarsi alla memorizzazione ¹⁷.

Approcci e strumenti

1. Agente generico + harness + verifier. È lo schema di ⁷, ¹¹ e ¹⁴: si definiscono risorse consentite e criterio di successo, l'agente itera. Pro: risultati forti dove il verificatore è affidabile. Contro: AgentSWE mostra che, se i casi di iterazione sono pochi, l'agente tende a adattarsi a quelli e non al requisito ⁶.

2. Qualità dell'harness. Le prestazioni dipendono tanto dal harness attorno al modello quanto dal modello ³. Anche costruire l'harness resta difficile (vedi sopra) ³. Ci sono tentativi di migliorare la gestione dello stato: AEWM modifica lo stato che sta alla base delle decisioni successive per ridurre la "contaminazione" da assunzioni e piani obsoleti, con +3,2–6,7 punti medi su sei benchmark e tre backbone rispetto alla baseline più forte ¹⁵.

3. Training con RL su ambienti verificabili. CodeMidas genera 5.545 task da 3.185 codebase open source (23 linguaggi, 15 domini); con GRPO su MiMo-V2.5 migliora tutti e cinque i benchmark (DeepSWE +11,7%, ProgramBench +17%, Terminal-Bench v2.1 +8,5%) ²⁰. TerminalHorizon sintetizza 1,5K ambienti a lungo orizzonte e, con SFT su Qwen3.5-27B, dichiara risultati oltre lo stato dell'arte su 12 benchmark ⁸. GAGAR affronta il limite dei reward binari dei test, che premiano allo stesso modo soluzioni pulite e soluzioni con modifiche fuori ambito, usando un grader agentico per ridistribuire il credito ¹³. Contro: sono lavori di training, non strumenti che uno sviluppatore adotta direttamente.

4. Distillazione di "reminder". OPRD affronta il fatto che gli agenti spesso non agiscono su informazioni già presenti nel contesto; su Qwen3.5-4B migliora il tasso di risoluzione medio di 11,3 punti su tre benchmark SWE-bench e dimezza gli eventi d'errore (da 446 a 222), senza reminder in inferenza ².

5. Codice per artefatti visivi. AesCode usa un'immagine generata dallo stesso prompt come guida estetica e ricompense separate (verificatori deterministici più giudice VLM); i modelli da 8B e 32B superano le baseline Qwen3-VL di pari scala ⁵. La scheda li dice comparabili a modelli closed-source di frontiera; l'abstract disponibile è troncato e non permette di verificarlo.

6. Reverse engineering assistito da agenti. Il progetto REA, presentato in un video, usa decompilatori come IDA e Hopper per far ricostruire applicazioni a un agente ¹. Il video è una dimostrazione su un caso; non fornisce misure comparabili.

Tooling locale. La release v0.1.907-beta di Unsloth dichiara fino a 5x di inferenza più veloce, browser use con script e integrazione in VS Code Copilot Chat ⁹. Sono dati dichiarati dalle note di rilascio, non confrontati in modo indipendente.

Cosa provare

• Parti dal verificatore. Prima di delegare un task a un agente, scrivi test o controlli eseguibili; i risultati migliori delle fonti vengono da setup con criterio di successo esplicito ^7,14.
• Non fidarti del "fatto". Verifica su casi nascosti o diversi da quelli usati nell'iterazione, e controlla che il codice faccia davvero qualcosa a runtime, dati i failure mode documentati ⁶.
• Lascia che l'agente interagisca con l'ambiente. Simulatore, compilazione, analisi ripetute: il feedback eseguibile è ciò che gli agenti sfruttano meglio ^14,10.
• Cura l'harness. Trattalo come parte del sistema da progettare e testare, non come dettaglio ³.
• Valuta su codice tuo. Dato il rischio di memorizzazione, i punteggi su repository popolari possono sopravvalutare le prestazioni sul tuo codebase ¹⁷.
• Se addestri modelli locali, le ricette aperte e gli ambienti sintetici sono un punto di partenza: Rufus-Air documenta una pipeline di post-training a otto stadi su dati pubblici ¹⁶, CodeMidas e TerminalHorizon i dati per agenti ^20,8.

Questioni aperte

• Strumenti commerciali: le fonti non confrontano assistenti in IDE o agenti da terminale nell'uso quotidiano; qualunque classifica sarebbe fuori dal materiale.
• Validità dei benchmark: la memorizzazione ¹⁷ mette in dubbio i punteggi SWE-bench; gli stessi lavori di training ^2,18 li usano come metrica.
• Gap tra demo e consegna: AgentSWE indica che è la norma, non l'eccezione ⁶; i risultati forti su TAMP ¹⁴ riguardano un dominio con simulatore.
• Qualità oltre i test: i test binari non distinguono implementazioni pulite da quelle con modifiche superflue ¹³.
• Risultati autoriportati: molte cifre vengono da paper e release note degli autori; le schede automatiche possono contenere imprecisioni e diversi abstract sono troncati.
• Da tenere d'occhio: benchmark con valutazione dinamica ¹⁷, sintesi automatica di ambienti RL ^20,8 e progresso nell'ingegneria dell'harness ³.

Fonti

1. Ho Testato la Repo VIRALE di GitHub per Fare Reverse Engineering di Tutto — YouTube, in AIChronos dal 17 ottobre 2026 · scheda
2. OPRD: On-Policy Reminder Distillation for Long-Horizon Coding Agents — arXiv, in AIChronos dal 17 ottobre 2026 · scheda
3. Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents — HF Daily Papers, in AIChronos dal 15 ottobre 2026 · scheda
4. ExeWorldBench: Benchmarking Code-Based Executable 3D World Modeling — HF Daily Papers, in AIChronos dal 14 ottobre 2026 · scheda
5. AesCode: Aesthetic Code Generation with Decoupled Cross-Modal Rewards — HF Daily Papers, in AIChronos dal 14 ottobre 2026 · scheda
6. AgentSWE: Can Coding Agents Build the Agent You Actually Want? — HF Daily Papers, in AIChronos dal 13 ottobre 2026 · scheda
7. The Last Remote Sensing Model Built by Humans? Casting Any Earth Observation Task as Recursive Self-Improvement — arXiv (temi verticali), in AIChronos dal 13 ottobre 2026 · scheda
8. Scaling Agentic Data for Long-Horizon Terminal Intelligence — HF Daily Papers, in AIChronos dal 13 ottobre 2026 · scheda
9. unslothai/unsloth v0.1.907-beta — Large Performance Gains + More Browser Use — GitHub, in AIChronos dal 13 ottobre 2026 · scheda
10. CheckerBench: Can Long-Horizon Agents Synthesize Static-Analysis Checkers? — HF Daily Papers, in AIChronos dal 7 ottobre 2026 · scheda
11. ASENA: Self-evolving Agents for Embodied Navigation — arXiv (autori seguiti), in AIChronos dal 30 settembre 2026 · scheda
13. Groupwise Agentic Grading and Advantage Redistribution for Code Agent RL — HF Daily Papers, in AIChronos dal 29 settembre 2026 · scheda
14. Coding Agents for Generalized Task and Motion Planning Problems — HF Daily Papers, in AIChronos dal 25 settembre 2026 · scheda
15. Agent-Editing World Model: Rethinking World Modeling for LLM Agents — HF Daily Papers, in AIChronos dal 25 settembre 2026 · scheda
16. Rufus-Air: An Open LLM Post-Training Recipe — HF Daily Papers, in AIChronos dal 25 settembre 2026 · scheda
17. Schrödinger's Code Repository: Have LLMs Learned SWE-bench or Memorized It? — HF Daily Papers, in AIChronos dal 24 settembre 2026 · scheda
18. PACT: From Credit Assignment to Critic Alignment — HF Daily Papers, in AIChronos dal 24 settembre 2026 · scheda
20. CodeMidas: Scaling Agentic Coding RL Environments from Code Itself — HF Daily Papers, in AIChronos dal 21 settembre 2026 · scheda