Concetto · 2 novità
Prefill
Pagina pubblicata il · ultima novità il
Cronologia
- Tandem: Serving Hybrid Linear-Attention GUI Agents on Mobile NPUsPer gli sviluppatori che lavorano con agenti AI locali, Tandem offre una soluzione critica per mitigare l'accumulo della latenza e i costi energetici tipici dei dispositivi mobili, rendendo fattibile un'esecuzione fluida di compiti GUI complessi senza compromettere le prestazioni dell'NPU.
- Disaggregated Quantization: Specializing LLM Prefill and Decode["Permette agli sviluppatori di ottimizzare l'inferenza locale bilanciando velocità del prompt (prefill) e accuratezza della generazione (decode).", 'Consente di migliorare le prestazioni su task complessi senza richiedere hardware aggiuntivo, sfruttando efficientemente risorse esistenti come SSD.']