RayOrch: Programming and Executing Lineage-Controlled Multi-Grain Dataflows for Foundation-Model Data Preparation
Aggiunta all'archivio di AIChronos il (numero del 28 settembre 2026 ricostruito)· fonte del · Xiaochen Ma, Zimo Meng, Junzhu Liang, Youhe Jiang, Yue Cheng, Hao Liang (Peking University)
RayOrch è un nuovo modello di programmazione e motore di esecuzione distribuita progettato per gestire flussi dati multi-grano con controllo del lineage durante la preparazione dei dataset per i foundation models. A differenza degli sistemi esistenti che nascondono il parallelismo o espongono record piatti, RayOrch preserva le relazioni padre-figlio lungo l'esecuzione tramite code FIFO e raggruppamenti basati su ordinamento immutabile. Il sistema valida ogni coppia di espansioni al momento della compilazione e gestisce i fallimenti in modo tipizzato per isolare gli errori senza bloccare genitori non correlati.
- Preserva le relazioni padre-figlio durante l'esecuzione, evitando la perdita del lineage tipico dei sistemi a grana grossa o piatta.
- Utilizza code FIFO Ready Queues per batchizzare i figli pronti tra diversi genitori mantenendo il loro ordine e lo stato di completamento.
- Ricostruisce i risultati basandosi sulla dichiarazione di membership e ordinali piuttosto che sui confini del batch o sull'ordine di completamento.
- Supprime i fratelli non dispatchati in caso di fallimento tipizzato, permettendo ai genitori non correlati di continuare l'esecuzione.
- Ottiene un speedup fino a 15.14x su GPU NVIDIA H20 scalando MinerU da 4 a 64 unità e riduce il tempo end-to-end del 13.1% rispetto a Ray Data.
Perché conta. Per gli sviluppatori che lavorano con LLM, agenti AI locali o pipeline di dati complessi, RayOrch offre un modo scalabile per trasformare documenti eterogenei in record strutturati senza sacrificare la coerenza del lineage. Questo è cruciale quando si gestiscono sequenze input-dipendenti e cardinalità variabili tipiche dei flussi di lavoro moderni.
Vai alla fonte originale ↗ arXiv ↗
Scheda generata automaticamente da un modello AI locale a partire dalla fonte originale: può contenere imprecisioni.