WeVisOne-VL: Unified Visual Perception from Objects to Pixels
Pubblicata su AIChronos il · fonte del · Tianming Liang, Junyi Pan, Yuxi Li, Canmiao Fu, Zhipeng Huang, Chong Sun (Tencent)
WeVisOne-VL è un modello VLM che unifica la percezione a livello di oggetto e pixel attraverso una previsione strutturata del prossimo token. L'architettura integra un decoder leggero per i pixel utilizzando un token speciale <OBJ> per generare output istanza-specifici come maschere o matte alfa. Il modello viene addestrato con un curriculum SFT in tre fasi seguito da RL misto su task, dimostrando prestazioni leader su oltre 30 benchmark e mantenendo una robusta capacità di rifiuto per query senza oggetti.
- Unifica la percezione visiva dai punti ai pixel tramite previsione del prossimo token strutturata.
- Supporta compiti multipli come rilevamento, localizzazione riferita, conteggio, OCR e segmentazione.
- Integra un decoder leggero per i pixel via token <OBJ> senza compromettere l'efficienza.
- Mantiene una robusta capacità di rifiuto (rejection) quando gli oggetti non sono presenti nell'immagine.
- Pubblicato come risorsa open-source per avanzare verso sistemi di percezione affidabili.
Perché conta. Permette agli sviluppatori di implementare agenti visivi con una granularità localizzazione flessibile, passando da bounding box a maschere precise direttamente nel flusso del modello.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.