Focused Omni-Modal GUI Agents
Pubblicata su AIChronos il · fonte del · Fuyao Zhang, Wenwen He, Jiaming Zhang, Yurong Hao, Xuan Wang, Guowei Guan (Nanyang Technological University)
Gli agenti GUI omni-modali spesso soffrono di 'Sequential Distraction' a causa dell'esposizione uniforme di un contesto completo e rumoroso. Il framework FocusGUI introduce il concetto di Focused Perception per creare rappresentazioni adattive al passo, sufficienti all'azione e non intrusive. Questo approccio utilizza un adapter leggero che comprime le evidenze rilevanti in uno spazio latente compatto senza modificare lo spazio parametrico nativo del modello frozen decoder. L'addestramento avviene esclusivamente tramite supervisione delle azioni, eliminando la necessità di etichette sulla rilevanza modale o fine-tuning dello backbone.
- FocusGUI risolve il problema della distrazione sequenziale filtrando dinamicamente i canali multimodali in base a un riferimento decisionale specifico per ogni passo.
- L'adapter comprime le informazioni rilevanti e le inietta sottilmente negli embedding del decoder frozen, guidando l'attenzione senza alterare i parametri originali.
- Il metodo richiede solo supervisione delle azioni (action supervision) ed è indipendente dal backbone o dalle etichette di rilevanza modale.
- Sul test su quattro backbones omni-modali, FocusGUI aumenta il Type Match del +33.2% e l'Exact Match 3 volte rispetto al backbone frozen.
- Supera i metodi esistenti di enhancement più forti con un miglioramento del Type Match del +30.1%.
Perché conta. Per gli sviluppatori che costruiscono agenti AI locali, FocusGUI offre una via per migliorare l'affidabilità degli agenti GUI riducendo il rumore contestuale senza i costi computazionali e di storage associati al fine-tuning completo o all'aggiornamento dei pesi del modello.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.