Terminal-style Mathematical Modeling Bench: The First Agentic and Verifiable Benchmark for Mathematical Modeling
Pubblicata su AIChronos il · fonte del · Xiaojun Wu, Cehao Yang, Xuhui Jiang, Chengjin Xu, Jia Li, Jian Guo
TB-MathModel è il primo benchmark agentic e verificabile per problemi di modellazione matematica basati su terminali, che supera le limitazioni dei giudici LLM tradizionali. Il framework valida i risultati attraverso una verifica a due livelli composta da invarianti decidibili e obblighi Lean~4, garantendo la fattibilità fisica delle soluzioni rispetto a paper vincitori multipli. Questo approccio permette di misurare in modo riproducibile la competenza nella modellazione a lungo termine senza penalizzare le risposte che superano il riferimento (scoring one-sided).
- Implementa un sistema containerizzato per problemi CUMCM e MCM reali del periodo 2023-2025, fornendo enunciati completi e allegati ufficiali.
- Utilizza una verifica di fattibilità programmata con sei forme invarianti decidibili e oltre 600 obblighi Lean~4 per invalidare risposte non fisicamente possibili.
- Adotta uno scoring direzionale unilaterale che premia i modelli capaci di superare il risultato del paper riferimento (Outstanding award) senza penalizzazioni.
- Raggiunge una valutazione O-Eval multi-riferimento del 64.58% con gli agenti multimodali più forti, dimostrando la validità della metrica.
- Offre un costo operativo significativamente inferiore rispetto ai modelli proprietari, mantenendo alte prestazioni nella risoluzione dei problemi.
Perché conta. Per uno sviluppatore di LLM e agenti locali, questo benchmark offre una via per valutare l'agenticità reale degli strumenti al di là della semplice generazione testuale, garantendo che le soluzioni siano non solo semanticamente coerenti ma anche fisicamente verificabili tramite codice.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.