On the Opportunities and Challenges of Prefill-to-Autoregressive Cross-Model Transfer
Pubblicata su AIChronos il · fonte del · Zhenyi Shen, Junru Lu, Wei Liu, Jiangnan Ye, Jiazheng Li, Di Yin (King's College London)
Il paper introduce PLatour, un framework open-source per il Prefill-to-Autoregressive Cross-model Transfer (PACT), che combina le rappresentazioni del prompt di modelli grandi con la generazione efficiente di modelli piccoli tramite ponti lineari leggeri. Gli esperimenti mostrano che PACT supera i baseline open-source e ottiene risultati migliori su benchmark di matematica e coding rispetto a Mostik, utilizzando un modello sender significativamente più piccolo. Tuttavia, studi controllati rivelano che parte dei guadagni può essere attribuita a segnali del sender non informativi o all'adattamento efficiente dei parametri senza sfruttare realmente le informazioni del sender. Di conseguenza, viene proposto PACT-Check per quantificare quanto il miglioramento derivi autenticamente dalla comunicazione tra modelli.
- PLatour utilizza architetture ibride di attenzione e ponti lineari inizializzati a zero addestrati direttamente con reward del task.
- I guadagni osservati su alcuni task possono essere replicati da segnali del sender privi di informazione o comunicazione auto-riferita.
- PACT-Check è una metodologia proposta per distinguere il beneficio reale della comunicazione dal semplice adattamento dei parametri.
- Il framework supporta la collaborazione indipendente tra modelli grandi e piccoli, bilanciando capacità computazionale e costi di inferenza.
- I ponti lineari trainabili agiscono come meccanismi di adattamento efficiente senza necessariamente sfruttare informazioni utili del sender.
Perché conta. Questa ricerca è cruciale per gli sviluppatori che lavorano con LLM locali o sistemi multi-agente perché offre strumenti per validare se le architetture ibride migliorano realmente la performance o si basano su artefatti di adattamento. Comprendere la distinzione tra comunicazione utile e semplice fine-tuning efficiente permette di ottimizzare i costi di inferenza senza compromettere l'affidabilità dei risultati.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.