CASE: Confusion-Aware Skill Evolution for Frozen Multimodal Emotion Models
Pubblicata su AIChronos il · fonte del · Siyu Wu, Zeyu Liang, Linghao Wang, Qiyun Zheng, Yi Yao, Ling Lo
I modelli multimodali grandi (MLLMs) mostrano ancora confusione sistematica tra emozioni semanticamente vicine con segnali sovrapposti. L'approccio CASE propone un framework basato su agenti e skill che esternalizza questa competenza dai parametri del modello mantenendo il backbone congelato. Il sistema mantiene una libreria sparsa di EmotionSkills specifiche per le coppie di emozioni, permettendo un affinamento continuo e trasferimento tra diversi backbones MLLM. Durante l'inferenza, CASE recupera dinamicamente la skill appropriata per rafforzare il ragionamento consapevole dei confini senza addestrare i parametri globali.
- CASE è il primo framework basato su agenti-skill dedicato al riconoscimento delle emozioni multimodale (MER).
- La confusione emotiva è altamente localizzata, rendendo inefficaci gli approcci di adattamento parametrico globale.
- Il metodo esternalizza l'espertizia affettiva in una libreria sparsa e auto-evolvibile di EmotionSkills riutilizzabili.
- Mantiene il backbone dell'MLLM congelato durante l'inferenza, garantendo efficienza e flessibilità nel trasferimento.
- Raggiunge un aumento significativo della precisione su Qwen3-VL-8B sul benchmark CA-MER (da 46.80% a 59.13%).
Perché conta. Permette di migliorare le prestazioni dei modelli frozen senza costi computazionali proibitivi legati al fine-tuning globale. Fornisce un meccanismo modulare e trasferibile ideale per integrare competenze specifiche in agenti AI locali o sistemi multimodali esistenti.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.