YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality
Aggiunta all'archivio di AIChronos il (numero del 29 settembre 2026 ricostruito)· fonte del · Ruibin Yuan, Jiahao Pan, Junyan Jiang, Zhiyue Wu, Ziya Zhou, Jiankai Sun (Multimodal Art Projection)
YuE2 è un modello AR-NAR Mixture-of-Transformers che unifica la generazione musicale simbolica e audio a livello di qualità frontier. Il sistema genera partiture leggibili con melodia ed armonia esplicita, le espande in token musicali semantici e le realizza come registrazioni audio complete senza bisogno di addestramento specifico per coperture (zero-shot covers). Attraverso l'uso di MERT2 e SheetSage2, il modello supera lo stato dell'arte nell'apprendimento delle rappresentazioni musicali e nella trascrizione lead-sheet. La capacità di pianificazione simbolica è preferita dagli esperti rispetto ai modelli puramente audio per qualità complessiva e musicalità.
- Il modello unifica generazione simbolica (partitura) e audio in una singola architettura AR-NAR MoT.
- La pianificazione simbolica ottiene il 49,3% delle preferenze degli esperti contro il 34,6% dei modelli senza planning su WildSongBench.
- YuE2 supera tutti i baseline pubblici sul SongBench Global Avg con un punteggio di 6.73 e raggiunge 6.96 in best-of-8.
- MERT2 stabilisce nuovo stato dell'arte sui metriche MARBLE, mentre SheetSage2 guida la maggior parte delle coppie benchmark nella trascrizione lead-sheet.
- Il modello supporta editing musicale agentic tramite LLM esterni che traducono feedback utente in revisioni della composizione.
Perché conta. Questa architettura dimostra come integrare ragionamento simbolico esplicito con generazione audio diretta possa migliorare la controllabilità e la qualità dei contenuti generati, offrendo un approccio promettente per agenti autonomi che devono pianificare output multimediali complessi.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.