Asymptotic Optimality of $cμ$-Rule for LLM Inference Scheduling under Memory Constraint
Pubblicata su AIChronos il · fonte del · Zhenghao Li, Shengbo Wang, Nian Si
Questo studio affronta il problema dello scheduling online per l'inferenza di LLM sotto vincoli di memoria GPU, modellando la durata del servizio come funzione congiunta della computazione e dell'accesso alla cache KV. Gli autori sviluppano un modello fluido che riduce il sistema a una coda singola con tassi di servizio efficaci derivati da velocità computazionale, larghezza di banda e occupazione della memoria. Viene dimostrata l'ottimalità asintotica del rule $cμ$, la quale minimizza i costi cumulativi nel modello fluido e massimizza il throughput dei token per carichi di lavoro finiti.
- La capacità di servizio è determinata congiuntamente da computazione, accesso alla memoria e occupanza della cache KV.
- Il rule $cμ$ proposto minimizza i tempi di completamento e massimizza il throughput dei token nell'inferenza finita.
- Le dinamiche scalate del policy implementabile convergono asintoticamente al policy ottimale derivato dal modello fluido.
- Gli esperimenti su un motore NVIDIA H800 confermano una riduzione sostanziale della latenza rispetto alle politiche esistenti.
Perché conta. Per gli sviluppatori di agenti AI e applicazioni locali, questa tecnica offre un metodo matematicamente provato per ottimizzare l'utilizzo della memoria GPU critica nei carichi di lavoro ad alto volume senza sacrificare il throughput.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.