Concetto · 2 novità
Small Language Model
Pagina pubblicata il · ultima novità il
Cronologia
- How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real ApplicationsPer gli sviluppatori che gestiscono LLM locali o agenti AI, questa tecnica riduce drasticamente i costi operativi e l'utilizzo della memoria GPU senza richiedere una ri-addestramento costoso del modello base.
- Context-Aware Prompt Injection Detection via Small Language Models in RAG Pipelines: nokast-secureRAGPer gli sviluppatori di sistemi AI locali, questo approccio offre una difesa specifica contro le iniezioni indirette che bypassano i filtri tradizionali basati su regex. La disponibilità open source del modello e della pipeline permette l'integrazione diretta nei flussi RAG esistenti per migliorare la sicurezza senza costi elevati.