论文:VACE: All-in-One Video Creation and Editing团队:阿里巴巴通义实验室 (Tongyi Lab, Alibaba Group)arXiv:2503.07598v1, 2025年3月一、介绍 — 为什么要搞"全栈"视频模型?如果你做过视频生成/编辑的工程落地,一定体会过这种痛苦:想做图生视频?装一个 I2V 模型。想做视频换背景?装一个 Inpainting 模型。想做姿态迁移?装一个 Pose Control 模型。想做参考图生成视频?再装一个 R2V 模型。模型越装越多,显存越吃越紧,部署成本直线上升,更别提不同模型之间的风格一致性根本无法保证。在图像领域,这个问题已经被 ACE、OmniGen、UniReal 等"统一模型"初步解决了——一个模型同时搞定生成、编辑、参考、可控生成。但在视频领域,由于时空一致性的额外约束,统一模型的进展一直滞后。VACE就是来填这个坑的。它用一个模型同时支持以下任务:任务类别具
VACE:一个模型搞定视频生成与编辑的全部活儿 — 阿里通义全栈视频框架深度拆解
论文:VACE: All-in-One Video Creation and Editing团队:阿里巴巴通义实验室 (Tongyi Lab, Alibaba Group)arXiv:2503.07598v1, 2025年3月一、介绍 — 为什么要搞"全栈"视频模型?如果你做过视频生成/编辑的工程落地,一定体会过这种痛苦:想做图生视频?装一个 I2V 模型。想做视频换背景?装一个 Inpainting 模型。想做姿态迁移?装一个 Pose Control 模型。想做参考图生成视频?再装一个 R2V 模型。模型越装越多,显存越吃越紧,部署成本直线上升,更别提不同模型之间的风格一致性根本无法保证。在图像领域,这个问题已经被 ACE、OmniGen、UniReal 等"统一模型"初步解决了——一个模型同时搞定生成、编辑、参考、可控生成。但在视频领域,由于时空一致性的额外约束,统一模型的进展一直滞后。VACE就是来填这个坑的。它用一个模型同时支持以下任务:任务类别具