TorchNeuron: running HF models on AWS Trainium is easier than ever
Pubblicata su AIChronos il · fonte del · Hugging Face blog
TorchNeuron introduce un backend nativo PyTorch per AWS Trainium che abilita l'esecuzione eager, torch.compile e API distribuite come FSDP2 senza richiedere Optimum Neuron. Questa soluzione supporta direttamente le principali librerie Hugging Face (Transformers, Diffusers) su hardware Trainium, raggiungendo il 89% delle architetture dei top 100 modelli per l'inference di testo rispetto al passato. Il framework permette lo scaling dell'addestramento tramite parallelismo tensoriale e FSDP nativo, garantendo checkpoint compatibili con Hugging Face Hub.
- Disponibilità pubblica beta dal 20 ottobre 2026 installabile via pip come torch-neuronx.
- Supporto out-of-the-box per l'89% delle top 100 architetture di modelli per l'inference testuale.
- Necessità di disabilitare le forme dinamiche automatiche in torch.compile e il caricamento asincrono dei pesi tramite variabile d'ambiente HF_DEACTIVATE_ASYNC_LOAD=1.
- Implementazione del parallelismo tensoriale (TP) utilizzando torch.distributed.device_mesh per scalare l'inference su più dispositivi Neuron.
- Ottimizzazione delle prestazioni fino a 2.4x per vision transformer tramite kernel personalizzati scritti con il Neuron Kernel Interface (NKI).
Perché conta. Per gli sviluppatori di LLM e agenti AI, TorchNeuron semplifica drasticamente la deployment locale su hardware AWS Trainium eliminando dipendenze esterne come Optimum Neuron. Consente un'adattabilità rapida del codice esistente a nuovi stack hardware con configurazioni minimali, facilitando l'esecuzione efficiente di modelli complessi in produzione.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.