EmbeddingGemma 2: Unified and Efficient Multimodal Representations
Pubblicata su AIChronos il · fonte del · Henrique Schechter Vera, Sahil Dua, Jovan Andonov, Sara Smoot, Sebastian Russo, Ivan Llanos
EmbeddingGemma 2 è un modello multimodale open-source che rappresenta nativamente testo, immagini, audio e video in uno spazio unificato. L'approccio introduce embedding semplificati per strato e un curriculum multi-stadio con progressione di modalità e obiettivi per garantire qualità elevata nelle valutazioni unimodal, cross-modal e mixed-modal. Il modello stabilisce una nuova frontiera di Pareto nei benchmark completi, superando sia i modelli specialistici che quelli due a dodici volte più grandi. Inoltre, il design offre flessibilità per ambienti con risorse limitate attraverso caricamento selettivo degli encoder delle modalità, budget regolabili dei token visivi e pesi quantizzati.
- Rappresentazione nativa unificata di testo, immagini, audio e video in uno spazio condiviso.
- Introduzione di embedding semplificati per strato (per-layer embeddings) per migliorare l'efficienza.
- Utilizzo di un curriculum multi-stadio con progressione graduale della modalità e degli obiettivi.
- Superamento dei modelli specialistici e di quelli significativamente più grandi in benchmark completi.
- Supporto nativo per ambienti a risorse limitate tramite caricamento selettivo, truncation delle dimensioni e quantizzazione.
Perché conta. È rilevante perché permette agli sviluppatori di integrare rappresentazioni multimodali efficienti senza il costo computazionale dei modelli più grandi o l'uso di architetture specializzate separate. La capacità di caricare selettivamente gli encoder e quantizzare i pesi lo rende ideale per implementazioni locali su hardware con risorse vincolate.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.