Concetto · 5 novità
inference cost
Pagina pubblicata il · ultima novità il
Cronologia
- EdgeWise: Bringing Long-Horizon Agents to the Edge via Selective Cloud DelegationPer gli sviluppatori che lavorano con agenti AI e modelli locali, EdgeWise offre un modo per bilanciare costi di inferenza elevati delle frontiera models senza sacrificare le capacità necessarie per task a lungo orizzonte.
- Learn2Play Bench: How Well Do LLM Agents Learn from Experience in Unfamiliar Environments?Per gli sviluppatori di agenti AI locali, questo lavoro è cruciale per comprendere come ottimizzare l'apprendimento in scenari reali non visti durante il pre-addestramento e per scegliere architetture che bilancino performance ed efficienza computazionale.
- Disaggregated Quantization: Specializing LLM Prefill and Decode["Permette agli sviluppatori di ottimizzare l'inferenza locale bilanciando velocità del prompt (prefill) e accuratezza della generazione (decode).", 'Consente di migliorare le prestazioni su task complessi senza richiedere hardware aggiuntivo, sfruttando efficientemente risorse esistenti come SSD.']
- Holo4: powering generalist computer-use agentsPer gli sviluppatori che lavorano con agenti AI locali o su cloud ibrido, Holo4 offre una soluzione versatile per automatizzare task complessi senza essere vincolati a un singolo tipo di interfaccia (es. solo API o solo GUI), riducendo al contempo i costi inferenza rispetto ai modelli chiusi.
- JEV-as-a-Judge: Accept When Confident, Escalate When UnsurePer gli sviluppatori che lavorano con LLM o agenti AI locali, questa tecnica permette di bilanciare accuratezza e costo computazionale evitando l'uso indiscriminato di modelli pesanti per valutazioni semplici.