Schrödinger's Code Repository: Have LLMs Learned SWE-bench or Memorized It?
Aggiunta all'archivio di AIChronos il (numero del 24 settembre 2026 ricostruito)· fonte del · Silin Chen, Yufei Yang, Xiaodong Gu, Yuling Shi, Chengcheng Wan, Haibing Guan (Shanghai Jiao Tong University)
I benchmark a livello di repository soffrono intrinsecamente di data leakage poiché sono costruiti su repository open-source popolari usati per l'addestramento. Per mitigare questo problema, gli autori propongono SchrodingerRepo (Schrödinger's Repository), un framework che tratta il repository di test come una variabile latente istanziata dinamicamente al momento dell'evasione. Questo approccio applica quattro livelli di trasformazione per preservare la funzionalità eseguibile mentre erode le familiarità, come convenzioni di nomenclatura e layout dei file. I risultati mostrano che rimuovere queste cue familiari degrada costantemente le prestazioni degli agenti e aumenta i costi d'interazione.
- I repository statici usati per il testing introducono data leakage perché gli LLM memorizzano pattern specifici invece di ragionare robustamente.
- SchrodingerRepo istanzia dinamicamente il repository durante l'evasione, applicando trasformazioni come la ricostruzione dell'enunciato del problema e il rimapping dello namespace.
- La rimozione delle cue familiari (naming conventions, file layouts) degrada le prestazioni degli agenti su SWE-bench Verified e SWE-QA.
- L'aumento dei costi d'interazione è causato principalmente dalla maggiore difficoltà nell'esplorazione del repository e nella localizzazione.
- Gli attuali coding agents sembrano parzialmente affidarsi alla memorizzazione di cue lato repository, richiedendo valutazioni con rappresentazioni dinamiche.
Perché conta. Per uno sviluppatore che lavora con agenti AI locali o sistemi RAG, questo paper evidenzia il rischio critico di overfitting sui dataset di training e la necessità di progettare pipeline di valutazione più robuste contro i bias indotti dalla memorizzazione.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.