AIChronos.notizie sull'intelligenza artificiale
Iscriviti
Codice · GitHub

ollama/ollama v0.40.12-rc0 — v0.40.12

Pubblicata su AIChronos il · fonte del · ollama

La release v0.40.12 di Ollama introduce miglioramenti significativi per l'ottimizzazione delle prestazioni e il supporto hardware tramite aggiornamenti del backend MLX e llama.cpp. Vengono preservati i dettagli visivi nelle torri visionarie compatte di Gemma, mentre la velocità dei prompt è incrementata specificamente per modelli come Gemma, Flint e Laguna. Il rilascio include anche l'integrazione nativa con DFlash2 e un aggiornamento della versione del motore sottostante a b11901.

  • Ottimizzazione MLX-C per accelerare la generazione dei prompt su modelli Gemma, Flint e Laguna.
  • Implementazione di supporto hardware tramite l'aggiunta dell'integrazione DFlash2 nel backend MLX.
  • Miglioramento della qualità visiva preservando i dettagli delle immagini nelle torri visionarie compatte di Gemma.
  • Aggiornamento del motore llama.cpp alla versione b11901 per garantire stabilità e nuove funzionalità.

Perché conta. Questa release è cruciale per gli sviluppatori che operano in ambiente locale, poiché offre un'accelerazione diretta delle inferenze su modelli visionari e testuali senza dipendenze cloud. L'integrazione di DFlash2 rappresenta un passo avanti significativo nell'utilizzo efficiente della memoria GPU, riducendo i latency critici per agenti AI complessi.

Vai alla fonte originale ↗

MLXllama.cppDFlash2Gemmavision towers

Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.