JustVugg/colibri
Pubblicata su AIChronos il · fonte del · JustVugg
Colibri è un repository che esegue modelli frontier Mixture-of-Experts con centinaia di miliardi di parametri utilizzando lo streaming da disco per ridurre l'uso della RAM. Implementato interamente in C puro senza dipendenze esterne e senza richiedere GPU, supporta motori diversi (CPU, Vulkan, CUDA) e gestisce download riprendibili. Il sistema ottimizza le prestazioni tramite una cache che impara quali esperti utilizzare e mantiene la precisione del modello evitando cambiamenti silenziosi.
- Esegue modelli MoE streaming da disco per gestire parametri enormi con risorse limitate.
- Implementazione in C puro compatibile con GGUF, Vulkan e CUDA senza hardware GPU obbligatorio.
- Cache intelligente che ottimizza le prestazioni selezionando dinamicamente gli esperti attivi.
- Dashboard locale con API OpenAI-compatible per l'integrazione diretta nelle applicazioni.
- Supporto nativo per importazione di file GGUF preservando formati quantizzati come IQ1_S e MXFP4.
Perché conta. È rilevante perché permette a sviluppatori di eseguire modelli LLM avanzati su hardware locale con risorse limitate, garantendo riproducibilità e controllo totale sull'inference senza dipendenze esterne.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.