Editing Images into Reusable Layers via Compositional Edit-Prior Distillation
Pubblicata su AIChronos il · fonte del · Wen Xue, Yong Liu, Xueheng Li, Si Wu, Yong Xu, Yipeng Sun (jingdong)
LayerEditor è un framework unificato che accoppia l'editing guidato da istruzioni con la generazione controllata di livelli RGBA riutilizzabili. Il suo nucleo, In-Context RGB-Alpha Token Modeling, rappresenta il canvas editato e una sequenza ordinata di livelli RGBA all'interno di una singola sequenza tokenizzata per abilitare controlli espliciti sul contenuto dei singoli strati. Per preservare le capacità di editing del modello pre-addestrato durante l'adattamento agli output stratificati, viene proposta Compositional Edit-Prior Distillation che trasferisce il prior di editing sia al canvas editato sia all'immagine composta dai livelli predetti. Il sistema supporta manipolazione flessibile a livello di strato e decomposizione multi-strato mantenendo alta fedeltà nell'editing.
- Introduzione di LayerEditor, un framework che integra editing guidato da istruzioni con generazione di livelli RGBA riutilizzabili.
- Utilizzo del meccanismo In-Context RGB-Alpha Token Modeling per rappresentare canvas e sequenze di strati in un unico token sequence.
- Implementazione di Compositional Edit-Prior Distillation per trasferire le capacità di editing pre-addestrate ai nuovi output stratificati.
- Costruzione del dataset LayerEditor-100K con annotazioni RGBA ordinate dedicato all'addestramento e valutazione dell'editing a strati.
- Supporto alla manipolazione flessibile a livello di singolo layer e alla decomposizione multi-layer mantenendo alta fedeltà visiva.
Perché conta. È rilevante per sviluppatori che lavorano con LLM, agenti e AI locale perché abilita la creazione di output grafici modulari e riutilizzabili direttamente all'interno dei flussi di lavoro generativi, permettendo un controllo granulare sui contenuti visualizzati senza dover ricomporre manualmente gli strati.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.