KAUSTics-Net: Diffusion-Based Through-Water UAV Restoration with a Semi-Synthetic Dataset
Pubblicata su AIChronos il · fonte del · Dario Scilla, Omar A. Lopez, Kasper Johansen, Brian O. Nieuwenhuis, Matthew F. McCabe
Il lavoro introduce KAUSTics, un dataset semi-sintetico per affrontare le distorsioni indotte dall'acqua nelle immagini UAV (rifrazione, caustiche), e KAUSTics-Net, una rete basata su diffusion conditioning. Il framework proposto integra encoder multi-scala, modulazione lineare delle caratteristiche (FiLM) e cross-attention per il restauro di imagery in acque basse. I risultati dimostrano che l'addestramento semi-sintetico combinato con tecniche di fine-tuning migliora significativamente la fedeltà del ripristino rispetto a metodi tradizionali, pur evidenziando compromessi percettivi.
- Scarsità di dati reali: il dataset KAUSTics combina patch ad alta risoluzione e osservazioni degradate generate sinteticamente con Blender per superare i limiti dei set supervisionati esistenti.
- Architettura ibrida: KAUSTics-Net utilizza un framework diffusion nello spazio delle pixel arricchito da FiLM, cross-attention e obiettivi di ricostruzione compositi.
- Performance validate: Il modello raggiunge un PSNR medio di 31.7 dB su dati sintetici e mostra miglioramenti significativi anche su dataset indipendenti come Sea-Undistort con fine-tuning specifico per il sampler.
- Utilità in scenari reali: Esperimenti su imagery UAV reale confermano la capacità del modello nel preservare le caratteristiche visive e supportare compiti downstream come la segmentazione.
Perché conta. Sebbene non sia un LLM, questo approccio basato sulla diffusion conditioning offre paradigmi utili per lo sviluppo di agenti autonomi che operano in ambienti fisici complessi o richiedono generazione/ricostruzione visiva ad alta fedeltà senza accesso a dati annotati massivi.
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.