Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities
Pubblicata su AIChronos il · fonte del · Yunhang Shen, Zhangquan Chen, Xiaotian Li, Zhongpeng Cai, Qing Zhou, Zekai Zhang (Tencent)
Youtu-Parsing-Omni è un parser omni-modale che converte documenti, immagini, audio e video in registri strutturati ancorati a spazio e tempo per fornire uno strato percettivo agli agenti. Il modello utilizza una singola architettura basata su encoder condivisi con pesi unitari e uno schema unico (OmniSchema) per gestire dieci compiti di parsing diversi. Attraverso un processo di post-addestramento chiamato OmniSchema-Aware On-Policy Distillation (OSAD), il parser evolve insieme alla sua supervisione, utilizzando rollouts contro target a livello token da una copia condizionata del modello stesso.
- Unifica l'encoding di tutte le modalità in un sistema coordinato spazio-temporale con encoder condivisi e pochi strati di fusione per allineamento temporale audio-video.
- Implementa OmniSchema, uno schema unico che standardizza i risultati di dieci compiti di parsing diversi permettendo una procedura di addestramento coerente.
- Utilizza OSAD (OmniSchema-Aware On-Policy Distillation) dove il modello si allena sui propri rollouts contro target token-level da se stesso in un ciclo co-evolutivo.
- Raggiunge lo stato dell'arte su OmniDocBench v1.6 con 96,96 di punteggio complessivo e supera tutti i modelli open-weight su OmniParsingBench (75,08 Avg.).
- Dimostra eccellenza specifica nel parsing audio/video, nella trascrizione musicale typeset a livello carattere e nell'accordo chimico-fingerprint.
Perché conta. È rilevante per gli sviluppatori di agenti AI perché fornisce un layer percettivo robusto capace di leggere, localizzare e citare prove attraverso diverse modalità sensoriali in modo coerente. Permette di integrare capacità avanzate di parsing multimodale (inclusi audio e video) senza dover addestrare modelli separati per ogni compito o formato.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.