Proving and Improving the Platonic Representation Hypothesis with JEPAs
Pubblicata su AIChronos il · fonte del · Randall Balestriero, Yann LeCun (galilai-group)
Questo lavoro trasforma l'ipotesi della Rappresentazione Platonica (PRH) in un teorema matematico dimostrabile per le Joint-Embedding Predictive Architectures (JEPAs). Si dimostra che JEPA addestrate separatamente su diverse modalità convergono alla stessa rappresentazione del mondo se i loro 'positive pairs' rappresentano buone vedute della stessa scena, indipendentemente dalla scala. L'autore mostra come la previsione del token successivo sia un caso di JEPA con 'bad views', spiegando l'allineamento inefficiente dei modelli linguistici rispetto a quelli visivi fino alla scalatura. La ricerca valida teoricamente e empiricamente che le buone vedute sono il fattore determinante per costruire rappresentazioni platoniche, superando i limiti attuali della previsione del token.
- Dimostrazione formale di un Teorema sulla Rappresentazione Platonica (Platonic Representation Theorem) applicato alle JEPAs.
- La previsione del token successivo è identificata come una JEPA con 'bad views', che richiede scale enormi per allinearsi a rappresentazioni visive.
- Le buone vedute ('good views') richiedono 42 volte meno campioni di addestramento rispetto alla previsione del token per raggiungere lo stesso livello di allineamento.
- Un JEPA testuale da 109M parametri supera l'allineamento con encoder immagine (DINOv2, CLIP) e modelli linguistici fino a 72B parametri.
- Una semplice rotazione matematica permette di trasformare encoders addestrati separatamente in un generatore di didascalie per immagini.
Perché conta. Per gli sviluppatori che lavorano con LLM e AI locale, questo paper offre una via teorica ed efficiente per bypassare la necessità di scale massive allineando direttamente rappresentazioni visive e testuali tramite JEPAs. Comprendere il ruolo delle 'good views' rispetto alla semplice scalatura permette di progettare agenti e sistemi multimodali più compatti e performanti senza affidarsi esclusivamente a grandi quantità di dati.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.