Tandem: Serving Hybrid Linear-Attention GUI Agents on Mobile NPUs
Pubblicata su AIChronos il · fonte del · Zhuomin Chen, Jingchao Ni, Xu Zheng, Yong Chen, Mo Sha, Wei Cheng
Tandem è un runtime progettato per eseguire agenti GUI ibridi su NPUs mobili, ottimizzando l'esecuzione locale evitando il caricamento e scaricamento del modello tra le attività. Il sistema salva lo stato ricorrente quando i prompt consecutivi divergono, permettendo di riutilizzare contesti precedentemente elaborati senza sovraccaricare la memoria. Grazie a un kernel di verifica che legge ogni blocco dei pesi una sola volta per tutti i token proposti e mantenendo il prefill sulla unità matrice, Tandem riduce significativamente la latenza e il consumo energetico rispetto alle configurazioni standard.
- Salvataggio dello stato ricorrente in punti di divergenza tra prompt consecutivi per riutilizzo del contesto.
- Utilizzo efficiente dell'unità matrice NPU mantenendo gran parte del prefill attivo e generando stati di rollback tramite una coda a token.
- Riduzione della latenza per passo del 30% sulle descrizioni testuali e del 16% sugli screenshot su Snapdragon 8 Elite rispetto a llama.cpp.
- Abbattimento dell'energia consumata per step testuale del 33% e riduzione della potenza di standby dal modello caricato da 0.76 W a 0.22 W.
- Gestione intelligente delle votazioni di alimentazione NPU tra le raffiche di richieste senza necessariamente scaricare il modello.
Perché conta. Per gli sviluppatori che lavorano con agenti AI locali, Tandem offre una soluzione critica per mitigare l'accumulo della latenza e i costi energetici tipici dei dispositivi mobili, rendendo fattibile un'esecuzione fluida di compiti GUI complessi senza compromettere le prestazioni dell'NPU.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.