EDGAR: Efficient Diffusion-Driven Gaussian Avatar Refinement via Synthetic Failure
Pubblicata su AIChronos il · fonte del · Kwan Yun, Minhyeok Bang, Colette Suhjung Koo, Junyong Noh (KAIST)
EDGAR è un framework basato su diffusione condizionale progettato per migliorare la qualità dei Gaussian avatar correggendo artefatti come sfocatura e instabilità temporale mantenendo la fedeltà dell'identità. Il modello utilizza un dataset ibrido EDGAR-SET che simula casi di fallimento realistici accoppiando rendering degradati con immagini ground-truth e di riferimento. Attraverso un blocco di fusione, EDGAR inietta feature identitarie estratte dal modello self-supervised Sapiens in uno backbone di diffusione a un passo per rimuovere gli artefatti senza sacrificare l'efficienza. L'architettura Mixture-of-Experts (MoE) gestisce diversi tipi e livelli di degradazione, mentre le rendering multi-view raffinate vengono usate come pseudo-target per ottimizzare un singolo avatar sottostante.
- Corregge artefatti geometrici e texture in avatar Gaussian ricostruiti da video monoculare o immagini statiche.
- Utilizza un dataset ibrido EDGAR-SET che simula fallimenti realistici tramite rendering sintetici accoppiati a dati reali.
- Inietta feature identitarie dal modello Sapiens in un backbone di diffusione a un passo per una correzione efficiente.
- Impiega un'architettura Mixture-of-Experts (MoE) per affrontare diversità di degradazioni e gravità.
- Ottimizza un singolo avatar sottostante utilizzando rendering raffinate come pseudo-target per evitare l'applicazione frame-by-frame.
Perché conta. Sebbene EDGAR si concentri su Gaussian Splatting, il suo approccio ibrido tra dati sintetici e reali, unito all'uso di feature self-supervised (Sapiens) e architetture MoE, offre pattern rilevanti per lo sviluppo di agenti AI locali che devono operare con risorse limitate mantenendo alta fedeltà contestuale.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.