Quantized Edge Inference of a Self-Supervised SAR-Optical Encoder on Commodity x86 Hardware
Pubblicata su AIChronos il · fonte del · Christian Sanchez-Leon, Dongming Chen
Lo studio valuta l'inferenza di un encoder auto-supervisionato SAR-Ottico basato su Vision Transformer (ViT) su hardware x86 commerciale. L'analisi confronta le prestazioni in precisione FP32, FP16 e INT8 misurando latenza, consumo energetico (RAPL/wall plug) e accuratezza tramite linear-probe. I risultati dimostrano che la quantizzazione a INT8 è neutrale per l'accuratezza, riducendo significativamente sia il tempo di inferenza sulla CPU che il consumo energetico anche senza istruzioni AVX2 o VNNI.
- La quantizzazione a INT8 riduce la latenza della CPU del 45% (1.45x) su tutti i nodi testati, inclusi quelli privi di supporto AVX2.
- L'accuratezza lineare-probe rimane invariata con l'uso di INT8 rispetto alle precisioni a punto fluttuante (+0.0006 micro-mAP).
- Il dispositivo ottimale per l'inferenza passa dalla GPU integrata alla CPU man mano che le classi della CPU migliorano.
- Le istruzioni VNNI offrono guadagni aggiuntivi oltre AVX2, suggerendo un potenziale futuro di ottimizzazione energetica e temporale.
- L'analisi include metriche energetiche complete tramite RAPL per valutare l'impatto reale del deployment sul campo.
Perché conta. Per gli sviluppatori che implementano agenti AI o modelli locali, questo paper conferma che la quantizzazione a INT8 è una strategia sicura e necessaria per il deploy su hardware edge limitato senza sacrificare le prestazioni. Inoltre, evidenzia come l'hardware CPU moderno possa diventare preferibile alle GPU integrate in scenari di inferenza efficiente.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.