MetaCurate: Evolving Curation Filters for High-Quality Agentic Coding Data
Pubblicata su AIChronos il · fonte del · Donghoon Kim, Seunghyuk Oh, Kevin Galim, Minseo Kim, Minjae Lee, Younghyun Kim
MetaCurate è un framework addestramento-free che evolve automaticamente filtri di curazione per i dati degli agenti utilizzando giudizi a coppie da parte di LLM. Il sistema sfrutta le dissonanze tra il ranking del filtro e le preferenze dei giudici per revisionare congiuntamente regole, rubriche e politiche di aggregazione partendo da un filtro vuoto. Questo approccio permette di scoprire autonomamente strategie di curazione competitive senza bisogno di criteri scritti a mano specifici per il task. La validità è dimostrata tramite esperimenti SFT su pool non curati e dataset Nemotron v3 SWE, superando metodi basati su regole manuali.
- Elimina la necessità di esperti umani per progettare filtri di selezione dei dati degli agenti.
- Utilizza giudizi LLM a coppie durante il processo di ricerca invece che in fase di inferenza.
- Raggiunge le migliori performance medie su SWE-Verified rispetto alle baselines manuali e al training-loop.
- Permette l'uso autonomo senza criteri scritti specificamente per ogni task (task-specific handwritten criteria).
- Offre un metodo efficiente che riduce i costi di validazione tramite ripetuti cicli di addestramento ed evaluation.
Perché conta. Per gli sviluppatori che lavorano con agenti e AI locale, MetaCurate offre una via per ottenere dati di alta qualità senza dipendere da criteri manuali costosi o esperti umani. Consente di costruire pipeline robuste per il fine-tuning degli agenti direttamente su dataset grezzi, massimizzando l'efficacia dell'inference riducendo la spesa computazionale nella fase di selezione.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.