TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving
Pubblicata su AIChronos il · fonte del · Shuhuai Li, Shengdong Ye, Dongdong Ge, Yinyu Ye, Jianghao Lin (AIOR)
TAO è un framework di scheduling congiunto aware degli strumenti per il serving basato su LLM e agenti. Il sistema combina la prontezza dei tool a breve termine, crediti cache specifici del nodo con decadimento temporale e impronta token tramite una programmazione dinamica sotto vincoli di capacità. Rispetto alle baseline state-of-the-art, TAO riduce significativamente la latenza, il tempo per primo token (TTFT) e aumenta il throughput di decodifica in scenari multipli.
- Le soluzioni esistenti ignorano spesso la prontezza dei tool nei servizi, causando spreco di risorse limitate.
- I sistemi attuali utilizzano strategie euristiche per l'ammissione e il posizionamento su GPU, portando a decisioni non ottimali.
- TAO integra una valutazione del servizio che considera sia le inferenze sulle GPU clusterizzate sia gli strumenti distribuiti sui CPU.
- Il framework riduce la latenza fino al 26.8% e aumenta il throughput di decodifica fino al 29.5% rispetto alle baseline migliori.
Perché conta. Per uno sviluppatore che lavora con agenti AI locali, TAO offre un modo per ottimizzare l'allocazione delle risorse miste (GPU/CPU) e migliorare le prestazioni end-to-end senza sacrificare la reattività dei tool esterni.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.