FilmFlow: Agentic System for 3D Virtual Film Cinematography
Pubblicata su AIChronos il · fonte del · Yiming Zhang, Jiarui Guo, Haojia Wei, Yifei Liu, Yifan Yang, Hongjie Zhang
FilmFlow è un framework agentic che traduce istruzioni in linguaggio naturale o video di riferimento in traiettorie di telecamera eseguibili per ambienti 3D dinamici. Il sistema utilizza un agente Director che compone movimenti ad alto livello da operazioni atomiche concorrenti, supportato da agenti specializzati come Interpreter, Scout e Critic per l'estrazione dell'intento, la selezione dei punti di vista e il feedback visivo iterativo. Viene introdotto CinemaBench, un dataset composto da 150 scene Blender con istruzioni testuali e video di riferimento per valutare le capacità del sistema. FilmFlow supera i baselines esistenti dimostrando superiorità in ragionamento spaziale, coordinazione temporale e composizione visiva.
- L'architettura agentic separa il compito in sottoprocessi specializzati: interpretazione dell'intento cinematografico, selezione iniziale delle prospettive e valutazione critica dei rendering.
- Il sistema genera traiettorie di telecamera controllando congiuntamente traduzione, rotazione e inquadratura attraverso operazioni atomiche concorrenti.
- CinemaBench fornisce un benchmark standardizzato con 750 compiti diretti dal testo e video associati a una sottoinsieme delle scene per la valutazione comparativa.
- FilmFlow ottiene le migliori prestazioni sui benchmark e i più alti tassi di preferenza utente rispetto alle baselines testate su scenari diversificati.
Perché conta. È rilevante perché dimostra come gli agenti AI possano gestire compiti complessi di ragionamento spaziale e coordinazione temporale in ambienti 3D, offrendo un framework per generare cinematografia eseguibile direttamente da prompt testuali o video.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.