SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding
Pubblicata su AIChronos il · fonte del · Kunjun Li, Wenhao Chai, Yihao Liang, Yuezhou Hu, Shuyao Xu, Yi Pan (University of California, Berkeley)
Lo SpecPilot è un sistema autonomo basato su agenti che scopre algoritmi e ottimizzazioni per il speculative decoding nei modelli LLM. Risolve tre sfide principali: l'inefficienza della lettura dei pesi con richieste singole, la riduzione dello speedup nel batching e la necessità di ottimizzazioni specifiche per ogni deployment. Il framework utilizza un modello di costo per identificare i colli di bottiglia e agenti paralleli che integrano le soluzioni validate in una memoria strutturata.
- SpecPilot ha scoperto formati dei pesi lossless a 12 bit, verifica ad albero per target ibridi ricorrenti e meccanismi avanzati di batching.
- Senza training o perdita di qualità, lo speedup rispetto all'autoregressivo (AR) passa da 4.46x a 10.87x con una singola richiesta.
- Nel caso del batching, l'ottimizzazione porta il miglioramento dallo speedup AR da 1.94x a 3.93x.
- Il sistema impiega un token forcing per rilevare reward hacking e verifica ogni output token contro lo stock.
Perché conta. Per gli sviluppatori di AI locale, SpecPilot offre soluzioni pronte all'uso che eliminano la necessità di tuning manuale complesso, massimizzando l'utilizzo delle GPU senza sacrificare la qualità del modello.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.