OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory
Pubblicata su AIChronos il · fonte del · Yu Zhou, Cheng-Fu Yang, Rui Sun, Di Wu, Sibo Peng, Mingyang Zhang
OpenVLHarness è un framework per il ragionamento multimodale che integra uno strato di capacità e memoria persistente per gestire l'uso eterogeneo degli strumenti. Il sistema converte le uscite di backend esterni in osservazioni leggibili dai modelli, permettendo una verifica iterativa delle prove visive e numeriche. Attraverso un'interfaccia di coding, esegue programmi sui dati memorizzati per combinare risultati provenienti da più fonti. Gli esperimenti su 22 benchmark dimostrano miglioramenti significativi rispetto alle baseline senza strumenti con costi computazionali ridotti.
- Integrazione di uno strato di capacità che unifica interfacce degli strumenti e rendering delle prove in osservazioni interpretabili dal modello.
- Implementazione di una memoria multimodale persistente per conservare immagini, dati strutturati e riferimenti web come artefatti indirizzabili durante le query.
- Miglioramento medio dei punteggi sui benchmark del 9.7-12.6 punti rispetto alle baseline senza strumenti su otto backbone open e proprietari.
- Riduzione dell'uso di token fino al 37% rispetto a modelli come Codex o Visual Sketchpad quando si utilizza GPT-6 Luna con sforzo di ragionamento medio.
- Supporto per un processo iterativo di acquisizione, ispezione e composizione delle prove multimodali attraverso l'esecuzione di programmi generati.
Perché conta. Questa architettura è cruciale per gli sviluppatori che costruiscono agenti AI locali o sistemi basati su LLM perché risolve il problema dell'accesso a conoscenze esterne e misurazioni numeriche senza sacrificare l'autonomia del modello. Offre un modo scalabile per rendere interpretabili le uscite di strumenti eterogenei, facilitando la creazione di applicazioni che richiedono percezione fondata e ragionamento complesso.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.