Random Is Almost Enough? Stable and Low-Cost Benchmark Compression via BestRand
Pubblicata su AIChronos il · fonte del · George Ling, Shanshan Zhong, Lijin Yang, Hao Yang, Nanxiang Li, Zhongzhan Huang (Carnegie Mellon University)
Lo studio introduce BestRand, un metodo di compressione dei benchmark che combina l'efficienza del campionamento casuale con la riduzione della coda ad alto errore tipica delle distribuzioni a lunga code. Gli autori derivano una nuova approssimazione analitica per quantificare il distribuzione degli errori stimati dai subset, dimostrando come BestRand stabilizzi le valutazioni riducendo significativamente i rischi di errore elevato e l'errore OOD (Out-of-Distribution). Il metodo è stato validato su oltre 70 benchmark testuali, multimodali e agent-based, mostrando una riduzione del rischio ad alto errore del 50.2% rispetto ai metodi competitivi.
- La distribuzione degli errori nella compressione dei benchmark presenta una coda lunga: la maggior parte dei subset ha piccoli errori, ma pochi producono errori molto grandi instabilizzando le valutazioni.
- BestRand preserva l'efficienza del campionamento casuale riducendo drasticamente il rischio di errore elevato e migliorando la stabilità delle stime rispetto ai metodi esistenti.
- Il metodo riduce in media l'errore di stima del 16.4% e richiede solo il 51.3% dei costi di costruzione necessari per i benchmark completi.
- BestRand è stato esteso con successo alla valutazione VLA (Vision-Language-Action) oltre ai tradizionali task testuali e multimodali.
- L'approccio teorico fornisce linee guida pratiche per prevedere l'affidabilità della compressione dei benchmark in scenari di shift temporale o familiare del modello.
Perché conta. Per gli sviluppatori che lavorano con LLM, agenti e AI locale, BestRand offre una via economica per ottenere valutazioni robuste senza dover eseguire test completi su dataset proibitivi dal punto di vista computazionale.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.