h1: A Taste of the Bitter Lesson in Automated Theorem Proving
Pubblicata su AIChronos il · fonte del · Skander Moalla, Ahmad Rammal, Niket Patel, Remi Munos, Julia Kempe (Meta Llama)
Il paper 'A Taste of the Bitter Lesson in Automated Theorem Proving' introduce h1, un semplice harness che permette a modelli linguistici di interagire con Lean 4 tramite feedback del verificatore e auto-riflessione, senza imporre strutture complesse come la decomposizione o il search. Gli esperimenti dimostrano che questo approccio scalabile batte i workflow progettati dall'uomo su benchmark formali chiave e risolve problemi aperti in FormalConjectures. L'analisi evidenzia che l'efficienza dell'interfaccia con Lean è determinante per le prestazioni, superando la mera semplicità del loop agentic.
- h1 utilizza un semplice ciclo agentic che scala il compute al momento del test (test-time compute) senza bisogno di pianificazione esplicita o decomposizione dei problemi.
- Il sistema raggiunge risultati state-of-the-art su PutnamBench, FATE-X e FormalConjectures100-Solved, risolvendo otto problemi aperti in FormalConjectures.
- A parità di modello (matched models), h1 eguaglia o supera workflow specializzati come Goedel-Architect e AlphaProof Nexus grazie a un'interfaccia Lean efficiente.
- Un singolo tentativo (pass@1) risulta spesso sufficiente per risolvere problemi aperti, sfidando la necessità di architetture complesse tradizionali.
- L'uso di feedback efficienti dall'esecuzione è cruciale quanto la semplicità dell'algoritmo stesso.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti, questo paper suggerisce che per compiti formali come il theorem proving non serve necessariamente progettare workflow complessi a priori; basta fornire un'interfaccia efficiente al modello (come Lean) e lasciare che l'agentic loop gestisca la correzione tramite feedback del verificatore.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.