Evaluating the Applicability of LLM Inference Optimizations on Apple Silicon
Pubblicata su AIChronos il · fonte del · Kyrylo Yemets, Andrii Yaroshevych, Victor Muryn, Ostap Khomenko, Pavlo Kryven, Maksym Kmet
Il documento valuta la trasferibilità delle ottimizzazioni per l'inferenza dei LLM da GPU NVIDIA server-class a Apple Silicon sotto carichi di lavoro single-request. Sebbene tecniche come il pruning del KV-cache possano migliorare le prestazioni fino al 1,75 volte su Mac, metodi quali lo speculative decoding riducono invece il throughput rispetto alle attese basate sui benchmark server. La ricerca evidenzia che i kernel CUDA non sono completamente trasferibili a causa di limitazioni nell'ecosistema Metal e della mancanza di copie asincrone pubbliche.
- Le ottimizzazioni validate su GPU NVIDIA spesso perdono efficacia o riducono le prestazioni quando portate nativamente su Apple Silicon per carichi single-request.
- Il pruning del KV-cache offre guadagni significativi (fino a 1,75x) su Mac ma può essere controproducente sulle desktop NVIDIA.
- Lo speculative decoding e i kernel CUDA trasferibili mostrano risultati misti: il primo rallenta l'inferenza su Apple mentre il secondo migliora solo parzialmente la throughput di decode.
- Le performance finali dipendono da una combinazione complessa di tecnica, runtime (Metal vs CUDA), contratto hardware e regime del workload.
- La mancanza di funzionalità asincrone pubbliche in Metal limita fortemente le strategie di ottimizzazione basate sul batch.
Perché conta. È cruciale per gli sviluppatori che costruiscono agenti AI o applicazioni locali su Mac comprendere quali tecniche sono realmente portabili, evitando l'adozione acritica di benchmark server-class che portano a sottostimare i costi computazionali reali.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.