vercel-labs/agent-desktop
Pubblicata su AIChronos il · fonte del · vercel-labs
agent-desktop è un'utility CLI e libreria C che abilita l'utilizzo del desktop da parte di agenti AI senza ricorrere a screenshot o matching dei pixel. Il software legge la tree dell'accessibilità (AX API su macOS, UI Automation su Windows, AT-SPI su Linux) per restituire elementi interattivi identificati tramite ref JSON unici. Gli agenti possono quindi interagire con le applicazioni eseguendo azioni come click e digitazione direttamente sui riferimenti restituiti dal tool.
- Fornisce un'interfaccia headless che mappa gli elementi dell'UI in una struttura dati accessibile agli AI agents tramite ref JSON stabili.
- Supporta nativamente macOS, Windows e Linux utilizzando le rispettive API di accessibilità del sistema operativo senza dipendenze grafiche pesanti.
- Include funzionalità MCP (Model Context Protocol) per esporre i comandi come strumenti standardizzati ai framework di agenti AI.
- Permette l'integrazione diretta in processi tramite la libreria FFI C, offrendo prestazioni superiori rispetto a soluzioni basate su browser o screenshot.
- Gestisce automaticamente lo stato dell'interfaccia (stale refs) e fornisce regole per il retry sicuro delle azioni fallite.
Perché conta. È fondamentale per sviluppatori che costruiscono agenti AI locali perché elimina la dipendenza da rendering grafici costosi, riducendo drasticamente i costi di inference e migliorando l'affidabilità dell'interazione con applicazioni desktop native.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.