orailnoor/cross-platform-llm-client
Pubblicata su AIChronos il · fonte del · orailnoor
PrivateLM è un client di chat AI cross-platform sviluppato con Flutter che integra l'inferenza locale su dispositivo (tramite modelli GGUF e llama.cpp) con il fallback alle API cloud. L'applicazione supporta nativamente Android, iOS e Web, offrendo accelerazione GPU via Vulkan o Metal per esecuzioni offline senza necessità di connessione internet dopo il download del modello. Utilizza Hive per la persistenza dei dati localmente e include servizi di notifica in background tramite Firebase.
- Unificazione dell'inferenza locale su Android/iOS con API cloud (OpenAI, Anthropic, Gemini) attraverso un'astrazione comune.
- Supporto nativo per modelli GGUF ottimizzati per hardware mobile con rilevamento automatico delle capacità GPU e gestione dei thread.
- Architettura basata su Flutter 3.x con GetX per la state management e Dio per il networking asincrono.
- Gestione persistente di sessioni chat e impostazioni locale tramite Hive, garantendo privacy senza trasmissione dati non autorizzata.
- Installazione iOS sideloaded via AltStore necessaria a causa dei requisiti RAM elevati per l'inferenza locale.
Perché conta. Questo strumento è fondamentale per gli sviluppatori che desiderano costruire agenti AI autonomi in grado di operare offline su dispositivi edge, riducendo la dipendenza da API esterne e i costi associati all'uso cloud. La capacità di unificare flussi di lavoro locali e remoti permette di progettare sistemi ibridi resilienti che mantengono il controllo dei dati sensibili sul dispositivo.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.