From Intent to Improvement: Agentic Dataset Search for Better Model Training
Pubblicata su AIChronos il · fonte del · Qiaosheng Chen, Kaijia Huang, Fanqi Zhou, Gong Cheng
Il paper introduce AgenticDS, un framework governato da contratti per la ricerca di dataset su larga scala che supera i limiti dei metodi basati solo sulla rilevanza testuale o degli agenti LLM non verificati. Il sistema compila le query in piani di ricerca tipizzati ed esegue operatori deterministici ibridi tra retrieval e espansione del grafo, garantendo il rispetto delle hard constraints come licenze e stage di training. Prima dell'accettazione finale, verifica prove basate sulla provenienza per emettere diagnosi tipizzate che permettono solo riparazioni locali.
- AgenticDS trasforma le decisioni dei modelli linguistici in oggetti tipizzati prima del consumo da parte di codice deterministico.
- Il framework esegue operatori su retrieval ibrido e espansione limitata del grafo per soddisfare vincoli complessi come task, licenza e stage.
- Sul benchmark HuDS-Bench ottiene un miglioramento dell'NDCG@10 del 25.7% rispetto ai sistemi dense-sparse più forti e del 18.9% contro agenti LLM commerciali.
- Uno studio controllato dimostra che i dataset recuperati migliorano l'accuratezza downstream in ambiti come matematica, codice e medicina.
- Il sistema garantisce che il data returned verifichi effettivamente di migliorare la formazione del modello.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti locali è cruciale avere strumenti che non solo trovino dati pertinenti semanticamente, ma garantiscano anche il rispetto rigoroso dei vincoli (licenze, stage) prima dell'uso nel training.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.