Concetto · 2 novità
SWE-bench Verified
Pagina pubblicata il · ultima novità il
Cronologia
- VibeTraining-Bench: Data-Trainer-Harness Co-Design for Iterative System ImprovementÈ rilevante perché offre metriche concrete e strumenti per sviluppare sistemi AI locali che migliorano autonomamente i propri componenti senza dipendere esclusivamente da dati esterni o risorse illimitate.
- Schrödinger's Code Repository: Have LLMs Learned SWE-bench or Memorized It?Per uno sviluppatore che lavora con agenti AI locali o sistemi RAG, questo paper evidenzia il rischio critico di overfitting sui dataset di training e la necessità di progettare pipeline di valutazione più robuste contro i bias indotti dalla memorizzazione.