ChronoReplay: One Answer Interface Is Not Enough for Streaming Spatial Intelligence
Pubblicata su AIChronos il · fonte del · Yihao Hu, Yitong Lin, Pan Wang, Zhihao Wen, Hang Wang, Yiwen Zhao (LINs lab)
Il paper introduce ChronoReplay, un metodo per mitigare il fenomeno di 'interface lock-in' nei Vision-Language Models (VLM) spaziali durante la post-training. Tale tecnica riproduce supervisione eterogenea ordinata cronologicamente e bilancia l'apprendimento tra diverse famiglie di compiti, migliorando le prestazioni su benchmark multipli come OST-Bench e UCS-Bench senza degradare il trasferimento a interfacce non enfatizzate. L'approccio include anche una selezione adattiva dei frame per ottimizzare i costi visivi durante l'inferenza mantenendo il modello fisso.
- Il 'interface lock-in' si verifica quando la specializzazione su un'unica interfaccia di output indebolisce le prestazioni su altre interfacce spaziali.
- ChronoReplay utilizza episodi ordinati cronologicamente per preservare i target nativi della sorgente e bilanciare il supervisione tra diverse famiglie di compiti.
- La serializzazione delle risposte ridistribuisce i guadagni prestazionali, mentre l'apprendimento bilanciato supera la SFT congiunta ordinaria.
- Una selezione adattiva dei frame fornisce ulteriori miglioramenti all'inferenza riducendo il carico computazionale visivo senza modificare il modello addestrato.
- Il metodo ottiene il punteggio medio più alto su tre benchmark combinati (OVO-S-Bench, OST-Bench, UCS-Bench) rispetto alle impostazioni di supervisione confrontate.
Perché conta. Per gli sviluppatori che lavorano con LLM e agenti locali, questo approccio è cruciale per evitare la specializzazione eccessiva su compiti specifici a scapito della versatilità spaziale generale. Inoltre, la capacità di migliorare le prestazioni tramite una selezione adattiva dei frame riduce i costi computazionali durante l'inferenza, rendendo più efficiente il deployment in ambienti con risorse limitate.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.