Reuse and Diffuse: Iterative Denoising for Text-to-Video Generation
Paper
•
2309.03549
•
Published
•
5
Note 本論文提出的T2VHE協議大大提高了T2V模型評估的可靠性、重現性和實用性,並承諾開源所有評估流程和代碼,以促進社群內的模型評估和改進。
Note 研究者採用了擴散模型,將T2MVid生成問題分解為視角空間和時間組件,並利用預訓練的多視角圖像和2D視頻擴散模型層來確保視頻的多視角一致性和時間連續性。引入對齊模塊解決了由於2D和多視角數據之間的領域差異引起的層不兼容問題。此外,還貢獻了一個新的多視角視頻數據集。