TailSteer: Trajectory-Tail Steering for Drift-Resistant Multi-turn Image Editing
Pubblicata su AIChronos il · fonte del · Ruikang Li, Zixuan Chen, Jiarui Wu, Mingde Yao, Yiyuan Zhang, Yujin Wang (MMLab-CUHK)
TailSteer è un framework di addestramento in fase finale progettato per migliorare la robustezza delle interazioni multi-turno nei modelli generativi senza alterare le capacità acquisite precedentemente. Il metodo si basa sul principio di mantenere dinamiche di denoising iniziali vicine a quelle del modello base, applicando correzioni preservanti solo nella coda della traiettoria dove avviano deviazioni visive accumulate (drift). Le correzioni vengono apprese da rollouts on-policy dell'editor utilizzando il contenuto sorgente invariato come riferimento, eliminando la necessità di coppie ground-truth curate. Gli esperimenti su famiglie di modelli quali FLUX, SenseNova e Qwen dimostrano una riduzione sostanziale del drift cumulativo mantenendo le prestazioni sui benchmark standard.
- Mitigazione del long-term drift nelle sessioni multi-turno senza riapprendere le capacità base del modello fondazionale.
- Utilizzo di rollouts on-policy e contenuto sorgente invariato per apprendere correzioni preservanti senza dati ground-truth esterni.
- Concentrazione delle modifiche nella 'trajectory tail' per sopprimere deviazioni fini mantenendo la dinamica iniziale intatta.
- Validazione su modelli FLUX, SenseNova e Qwen con efficacia dimostrata fino a 15-20 turni di editing consecutivi.
Perché conta. Per gli sviluppatori che implementano agenti o sistemi locali basati su LLM, TailSteer offre un modo pratico per garantire coerenza visiva e testuale in sessioni lunghe senza il costo computazionale del fine-tuning completo o la perdita di prestazioni generative.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.