论文Causal Forcing:Scalable Few-Step Autoregressive Diffusion Distillation for Real-Time Interactive Video Generation作者Min Zhao, Hongzhou Zhu 等清华大学、生数科技、中国人民大学论文链接arXiv:2605.15141 HTML 版官方代码thu-ml/Causal-Forcing前作Causal ForcingarXiv:2602.02214本报告以 Causal Forcing 论文及其官方项目为主并结合前作 Causal Forcing 来解释其理论动机。重点不是泛泛介绍“扩散模型”而是回答这篇论文真正解决了什么、每个训练阶段输入和监督是什么以及为什么 Causal CD 能替换昂贵的 Causal ODE 初始化。1. 核心结论Causal Forcing 解决的问题可以浓缩为一句话在保持“因果 AR 教师 → 因果 AR 学生”这一理论正确蒸馏路线的前提下用在线的局部一致性监督替代离线完整 PF-ODE 轨迹监督从而以更低训练成本训练逐帧、12 步采样的实时视频生成器。前作 Causal Forcing 已经解决了为什么不能直接用双向教师蒸馏自回归学生为什么少步 AR 初始化必须使用 AR 教师为什么 ODE 蒸馏需要满足帧级单射性。但前作的 Causal ODE 初始化代价很高对每条训练视频 多步 AR 教师从噪声出发 → 跑完整 PF-ODE 去噪轨迹 → 保存中间 latent 与终点 → 用保存的轨迹训练少步学生Causal Forcing 的改进是不再离线生成完整轨迹 → 训练时仅让冻结 AR 教师在线走一个 ODE 小步 → 约束相邻轨迹点的学生输出一致 → 学到相同的 AR 条件 flow map论文报告在其设定下Causal CD 将 Stage-2 成本降低约4 倍且不再需要额外轨迹存储在逐帧 2-step 生成中相较此前 chunk-wise 4-step Causal Forcing提升 VBench Total、VBench Quality 和 VisionReward同时首帧延迟降低约 50%。2. 背景为什么实时视频生成需要 AR 扩散模型传统高质量视频扩散模型通常是全序列双向模型。给定整段视频的 noisy latent它会让每一帧关注到所有帧其中x01:N 完整视频的干净 latentc 文本 prompt、参考图、相机位姿、动作等条件“双向”表示第 i 帧可以访问过去和未来。这类模型质量强但不能真正实时交互必须联合处理整段视频用户需要等待整段或至少一个大块完成用户无法在生成过程中修改后续控制条件很难做持续无限长度的生成。而自回归视频模型把联合分布拆为即生成第 1 帧 → 将其作为历史 → 生成第 2 帧 → 将其作为历史 → 生成第 3 帧 → …这样可以做到逐帧或逐 chunk 流式返回已生成视频成为上下文用户可在中途修改 prompt、动作或相机控制更适合交互式世界模型、游戏画面、数字人和视频 agent。但 AR 生成有两个难题难题含义多步采样慢每一帧内部仍需几十步扩散去噪误差会累积前面帧的一点偏差会成为后续帧的条件逐步放大Causal Forcing 主要针对前者即如何将多步 AR diffusion 压缩为稳定的 12 步 AR generator。3. 扩散、Flow Matching 和 PF-ODE论文的基础语言3.1 从干净 latent 到噪声 latent论文采用 flow matching 的常见表述。对一个干净视频 latent x0 采样高斯噪声并构造中间状态在论文采用的简化线性设定下于是含义如下时间latent 状态t0x0干净视频 latent0t1部分噪声 latentt1ϵ 纯高斯噪声因此训练数据可以被视为一条从视频 latent 到高斯噪声的连续路径。3.2 速度场是什么对上式求导定义真实速度模型学习预测它回答的问题是当前 latent 位于 xt 、当前噪声等级是 t 时要沿 latent 空间的哪个方向移动才能遵循从噪声回到数据的正确流动轨迹基模训练常见损失为这就是flow matching loss。它训练的不是“直接输出最终视频”而是学习每个位置的局部运动方向 / 局部速度场。3.3 PF-ODE 是什么ODE 是常微分方程Ordinary Differential Equation的总称它要“求解”的不是一个固定数而是一条函数轨迹在生成模型中PF-ODE 是特指Probability Flow ODE概率流常微分方程它表示在模型定义的速度场中latent 的概率分布如何从高斯噪声连续流回数据分布。生成时从出发将时间从 1 往 0 走得到最终通过 VAE decoder 将 x0 还原为视频。PF-ODE 的重要性质是确定性给定同一个初始 noisy latent、同一个模型、同一个 prompt 和同一个条件确定性的 ODE solver 会得到同一条轨迹和同一终点。这里“确定”指的是对于完整双向视频状态而言可以是确定的但这不意味着丢掉未来帧后单帧映射仍然唯一。4. 多步采样到底在做什么模型输出的是当前状态的 velocity最简单的 Euler ODE 求解器用如下更新其中Δt0 实际时间由 t 向 t−Δt 下降xt−Δt 比 xt 更接近干净视频 latent。例如 4 步采样x1.00 ↓ model(x1.00, 1.00) x0.75 ↓ model(x0.75, 0.75) x0.50 ↓ model(x0.50, 0.50) x0.25 ↓ model(x0.25, 0.25) x0.00真实 sampler 可以用 Euler、Heun 或更高阶 solver本质都是反复调用多步教师沿其速度场进行数值积分。小步更新会不会使用模型预测的 x^0 取决于参数化与 scheduler。若模型直接预测 velocity最简单更新直接使用 v^ 但在线性 flow matching 设定下可由 velocity 推导干净预测因此许多 scheduler 在实现时会模型输出 velocity → 推导 x0 prediction → 再用 x0 prediction、velocity 或噪声 prediction 构造下一步所以理论速度场核心输出是 v^ 实际采样器实现经常会显式使用可由 v^ 推导的 x^0 ODE / consistency 蒸馏学生通常直接把输出定义成对最终端点 x0 的预测。5. 为什么双向教师不能直接蒸馏 AR 学生这是 Causal Forcing 系列最重要的理论动机。5.1 双向教师的映射双向教师生成第 i 帧时可见其端点映射本质是注意其中包含未来5.2 AR 学生的映射因果 AR 学生部署时只能见到其中它不能访问未来。因此学生要学习的是5.3 问题不是“单个样本的未来不固定”对一条具体训练样本历史帧固定 当前 noisy latent固定 未来帧固定 教师输出固定这完全正确。问题在于未来帧没有被放进学生输入。双向教师的真实监督是学生却只能以作为输入。从学生视角未来 xti 是一个隐藏变量。将未来边缘化后目标不再一定是单值函数如果不同未来对应不同教师输出就形成一对多关系。MSE 回归的最优解是条件均值即这会造成多种可能动作被平均方向与姿态变模糊运动幅度变弱时序语义不稳定后续 AR rollout 的误差更容易累积。Causal Forcing 将这一问题称为帧级单射性不成立。6. Causal Forcing 的三阶段训练逻辑Causal Forcing 的策略是把两个问题拆开先完成双向模型 → 因果 AR 模型的架构转换再完成多步 → 少步模型的步数蒸馏。Stage 1Teacher Forcing 训练多步 AR 教师目标输入即当前帧带噪 latent 历史帧干净真实 latent 条件文本 / 图像 / 动作 / 相机位姿等模型输出监督目标损失Teacher Forcing 的意义训练时当前 noisy frame 只能看即干净历史而不能看未来。因此多步 AR 教师本身的条件结构已经与 AR 学生一致AR teacher 可见历史 AR student 可见历史 二者都不可见未来这保证后续蒸馏时目标结构是因果对齐的。Diffusion Forcing 与 Teacher Forcing 的差异Diffusion Forcing 中历史帧也会被加噪而 Teacher Forcing 使用方法历史帧输入Teacher Forcingclean historyx0iDiffusion Forcingnoisy historyxti两者都可训练 AR 扩散模型但 Causal Forcing 系列认为在其少步 AR 蒸馏目标下Teacher Forcing 更利于学习正确的因果条件流。不过也要严格区分Teacher Forcing 并没有彻底消除 AR 的 exposure bias。因为训练时历史是 GT而推理时历史是模型自己生成的只是它避免了另一类错误让当前帧条件在“尚未去噪完成的随机历史噪声”上。7. Causal ODE Distillation前作的正确但昂贵的初始化有了多步 AR 教师后想将其变成 14 步学生需要让学生学到其中表示从当前 noisy latent xt 出发在固定 AR 历史条件 h 下沿多步 AR 教师 PF-ODE 一直积分到 t0 的终点映射。7.1 轨迹生成先固定历史条件 h 文本 / 控制条件 c 初始高斯噪声 x1 。使用多步 AR 教师反复更新形成完整轨迹7.2 学生训练从教师离线保存的轨迹中抽一个中间点学生直接预测该轨迹的终点目标损失这就是“从任意中间 noisy state 直接跳到最终终点”。7.3 为什么需要完整轨迹不是说每次学生反向传播时都要重新让教师完整去噪。通常流程是离线数据准备 每个样本由 AR teacher 完整跑 PF-ODE → 存储多个中间状态与终点 在线学生训练 读取 (x_t, h, t, x0) → student 预测 x0 → MSE 更新 student完整轨迹的作用是生成监督数据如果只跑一步教师 ODE通常只能知道还不知道从 xt 沿教师轨迹最终会到哪个端点。这正是 Causal ODE 蒸馏计算贵、存储也贵的原因。8. Causal Consistency DistillationCF 的核心CF 的关键是仍学习同一个 AR 条件终点映射但不再直接回归完整轨迹终点。8.1 相邻时间点是什么假设当前噪声时刻t0.80选择Δt0.05那么相邻、稍微更干净的时间点就是t−Δt0.75它们位于同一条教师去噪轨迹上x1.00 → x0.90 → x0.80 → x0.75 → x0.70 → … → x0.00其中x0.80 噪声更高x0.75 沿教师 ODE 去噪一小步后的状态两者不是不同视频而是同一个视频生成过程的两个相邻 latent 状态。8.2ODEStep是什么ODEStep不是独立网络它表示用冻结多步 AR 教师的 velocity 做一次数值积分更新。最简单形式记为帽子表示它是教师模型通过一步数值求解得到的估计状态。8.3 Causal CD 的训练步骤对训练视频 latent x0 步骤 1构造 noisy latent步骤 2冻结多步 AR 教师走一步步骤 3学生从当前点预测终点步骤 4EMA target 学生从相邻点预测终点步骤 5让两个预测一致其中θˉ EMA 参数sg stop-gradient目标侧不参与反向传播。8.4 它为什么合理对于同一条教师 PF-ODE 轨迹无论从 xt 还是 xt−Δt 出发最终都应该到达同一个终点所以 Causal CD 不需要直接给学生的端点监督而是通过在相邻轨迹点上建立局部一致性。若这种一致性对整条轨迹上的所有相邻点都成立并施加这一边界条件那么可以递推得到9. EMA target 是什么EMA 是指数移动平均其中θ 当前学生参数θˉ EMA target 参数μ 接近 1 的平滑系数。EMA target 不是另外从头训练的大教师而是当前学生的“慢速平滑副本”。其作用是避免两个不断变化的学生输出彼此追逐不使用 EMA student 的当前输出 vs. student 的当前输出 → 两侧都快速变化训练目标不稳定 使用 EMA 当前 student 输出 vs. 较平滑、较稳定的 EMA-student 输出 → target 更稳定CF 中有两种不同角色角色来源用途多步 AR teacherStage 1 训练后冻结给出局部 ODE stepEMA target student当前少步学生的 EMA给出 consistency target10. ODE 蒸馏和一致性蒸馏的关系二者都属于“少步蒸馏”目标对象相同即学习 AR 教师从中间状态到最终端点的 flow map。区别在监督方式。维度Causal ODE DistillationCausal Consistency Distillation学习目标AR 条件终点映射同一个 AR 条件终点映射监督中间点对完整轨迹终点的回归相邻轨迹点输出一致训练对(xt,h,t)→x0(xt,t)↔(xt−Δt,t−Δt)教师计算需完整 PF-ODE 轨迹每次仅在线走一步是否预存轨迹是否存储成本高无额外轨迹存储优化跨度高噪声点直接预测终点跨度大相邻时间步局部约束CF 系列中的位置Causal Forcing 的 Stage 2Causal Forcing 的 Stage 2因此Causal CD 不是换了一个目标而是换了获得监督信号的方式。11. DMD 阶段的作用为什么 Stage 2 后还要做 DMDStage 2 的任务是让少步 AR 学生具备正确、稳定的少步 flow map。但仅靠 MSE endpoint regression 或 consistency loss常见问题是视觉细节不够锐利纹理、颜色和局部真实感不足少步采样分布与高质量视频分布仍有差距prompt / 控制信号的表现未必最优。于是再做 Stage 3Asymmetric Distribution Matching DistillationDMD。11.1 DMD 的基本角色模块作用Generator / AR student要优化的少步 AR 生成器Real score model冻结的强双向模型提供高质量数据分布方向Fake score model在线训练拟合当前学生生成分布的 score学生生成加噪后DMD 核心不是直接做而是让学生生成分布的 score 接近真实 / 强教师分布的 score。概念性梯度是直觉真实 / 强教师 score “往哪里走更像高质量视频” fake score “当前学生自己生成分布的局部方向” 二者差 “学生生成分布该怎样修正”11.2 DMD 不能替代正确初始化前作 Causal Forcing 的一个重要结论是DMD 可以提升分布质量但不能修复“教师看未来、AR 学生看不到未来”导致的架构错配。若 Stage 2 用双向教师给 AR 学生错误的未来依赖监督则学生最初就学习到条件均值或错误 flow map。此后 DMD 即使能提高纹理也很难从根本上恢复正确动态。所以合理职责分工是Stage 1 建立正确的因果 AR 教师 Stage 2 建立正确且可少步采样的 AR flow map Stage 3 通过 DMD 提升感知质量、分布质量和条件遵循12. 全流程总结表阶段输入模型输出Loss / 监督主要目的双向基模训练完整 noisy video xt1:N、t 、条件 c全视频 velocityvelocity MSE学习高质量视频生成先验Stage 1AR Teacher Forcing当前 noisy latent xti、干净历史 x0i、t,c当前 velocity当前 velocity MSE得到多步因果 AR 教师Stage 2Causal ODEAR 教师轨迹中间点 xt、历史 h终点预测 x^0∣x^0−x0teacher∣2多步 AR → 少步 AR但需完整轨迹Stage 2Causal CDxt,h,t 与教师一步后的 x^t−Δt,h,t−Δt两侧终点预测consistency MSE无完整轨迹、低成本学少步 ARStage 3DMD学生 self-rollout 样本及其 noisy version分布更新方向real/fake score difference提升生成分布、纹理和控制质量13. 对论文贡献的评价13.1 真正的创新点CF 不是提出了一个全新视频 backbone也不是仅仅把采样步数从 4 改为 2。它的创新是保留 Causal Forcing 的理论正确性即 Stage 2 必须由 AR teacher 提供因果一致的监督。发现 Causal ODE 的瓶颈是轨迹监督成本正确但昂贵需要完整 PF-ODE trajectory generation 与存储。证明 / 主张 Causal CD 学习同一 AR 条件 flow map只是从“端点监督”改成“相邻一致性监督”。将研究重点推进到 frame-wise 12 step这更接近真实交互式视频和世界模型所需的低延迟粒度。13.2 工程意义Causal CD 的价值不只是节省算力原始 Causal ODE 每改变一个采样配置 / chunk 设置 → 常要重新准备完整轨迹数据 Causal CD 训练时在线只走一步 → 更容易切换 frame-wise、chunk-wise、1-step、2-step、4-step 配置这使研究者能更低成本探索不同采样步数不同 chunk 大小不同分辨率不同动作 / 相机控制条件不同基础视频模型。13.3 仍然存在的局限论文的改进并不意味着长时视频问题已经解决AR rollout 误差累积仍存在Causal CD 提高了稳定性但历史误差仍会传播。1-step 是更难的极限设定少步越极端语义、动态和细节之间的权衡越明显。世界模型展示仍是早期形式动作或相机控制视频生成不等同于具备长期 3D 几何一致性、物理规则和可规划能力的完整世界模型。性能依赖基础模型、分辨率和硬件条件“实时”必须结合具体 GPU、吞吐、首帧延迟和分辨率解释不能脱离实验设定泛化。14. 最终结论Causal Forcing 的完整逻辑可以压缩成下面这条链高质量双向视频扩散基模 ↓ Teacher Forcing 训练多步 AR teacher ↓ 确保 teacher 与 AR student 都只使用历史条件 ↓ 避免双向教师未来信息造成的帧级目标错配 ↓ 用 Causal CD 进行少步初始化 ↓ 仅用一次在线教师 ODE step 建立相邻轨迹一致性 ↓ 避免预计算、存储完整 PF-ODE trajectory ↓ 再使用 DMD 做生成分布与视觉质量精调 ↓ 得到逐帧、12 步、低延迟的 AR 视频生成器最本质的理解是Causal Forcing 解决“应该向谁学”的问题少步 AR 学生必须从 AR 教师学。Causal Forcing 解决“怎样更便宜地学”的问题不必保存完整教师轨迹只需在线学习相邻轨迹状态的一致性。
Causal Forcing++ ：vidu实时生成
论文Causal Forcing:Scalable Few-Step Autoregressive Diffusion Distillation for Real-Time Interactive Video Generation作者Min Zhao, Hongzhou Zhu 等清华大学、生数科技、中国人民大学论文链接arXiv:2605.15141 HTML 版官方代码thu-ml/Causal-Forcing前作Causal ForcingarXiv:2602.02214本报告以 Causal Forcing 论文及其官方项目为主并结合前作 Causal Forcing 来解释其理论动机。重点不是泛泛介绍“扩散模型”而是回答这篇论文真正解决了什么、每个训练阶段输入和监督是什么以及为什么 Causal CD 能替换昂贵的 Causal ODE 初始化。1. 核心结论Causal Forcing 解决的问题可以浓缩为一句话在保持“因果 AR 教师 → 因果 AR 学生”这一理论正确蒸馏路线的前提下用在线的局部一致性监督替代离线完整 PF-ODE 轨迹监督从而以更低训练成本训练逐帧、12 步采样的实时视频生成器。前作 Causal Forcing 已经解决了为什么不能直接用双向教师蒸馏自回归学生为什么少步 AR 初始化必须使用 AR 教师为什么 ODE 蒸馏需要满足帧级单射性。但前作的 Causal ODE 初始化代价很高对每条训练视频 多步 AR 教师从噪声出发 → 跑完整 PF-ODE 去噪轨迹 → 保存中间 latent 与终点 → 用保存的轨迹训练少步学生Causal Forcing 的改进是不再离线生成完整轨迹 → 训练时仅让冻结 AR 教师在线走一个 ODE 小步 → 约束相邻轨迹点的学生输出一致 → 学到相同的 AR 条件 flow map论文报告在其设定下Causal CD 将 Stage-2 成本降低约4 倍且不再需要额外轨迹存储在逐帧 2-step 生成中相较此前 chunk-wise 4-step Causal Forcing提升 VBench Total、VBench Quality 和 VisionReward同时首帧延迟降低约 50%。2. 背景为什么实时视频生成需要 AR 扩散模型传统高质量视频扩散模型通常是全序列双向模型。给定整段视频的 noisy latent它会让每一帧关注到所有帧其中x01:N 完整视频的干净 latentc 文本 prompt、参考图、相机位姿、动作等条件“双向”表示第 i 帧可以访问过去和未来。这类模型质量强但不能真正实时交互必须联合处理整段视频用户需要等待整段或至少一个大块完成用户无法在生成过程中修改后续控制条件很难做持续无限长度的生成。而自回归视频模型把联合分布拆为即生成第 1 帧 → 将其作为历史 → 生成第 2 帧 → 将其作为历史 → 生成第 3 帧 → …这样可以做到逐帧或逐 chunk 流式返回已生成视频成为上下文用户可在中途修改 prompt、动作或相机控制更适合交互式世界模型、游戏画面、数字人和视频 agent。但 AR 生成有两个难题难题含义多步采样慢每一帧内部仍需几十步扩散去噪误差会累积前面帧的一点偏差会成为后续帧的条件逐步放大Causal Forcing 主要针对前者即如何将多步 AR diffusion 压缩为稳定的 12 步 AR generator。3. 扩散、Flow Matching 和 PF-ODE论文的基础语言3.1 从干净 latent 到噪声 latent论文采用 flow matching 的常见表述。对一个干净视频 latent x0 采样高斯噪声并构造中间状态在论文采用的简化线性设定下于是含义如下时间latent 状态t0x0干净视频 latent0t1部分噪声 latentt1ϵ 纯高斯噪声因此训练数据可以被视为一条从视频 latent 到高斯噪声的连续路径。3.2 速度场是什么对上式求导定义真实速度模型学习预测它回答的问题是当前 latent 位于 xt 、当前噪声等级是 t 时要沿 latent 空间的哪个方向移动才能遵循从噪声回到数据的正确流动轨迹基模训练常见损失为这就是flow matching loss。它训练的不是“直接输出最终视频”而是学习每个位置的局部运动方向 / 局部速度场。3.3 PF-ODE 是什么ODE 是常微分方程Ordinary Differential Equation的总称它要“求解”的不是一个固定数而是一条函数轨迹在生成模型中PF-ODE 是特指Probability Flow ODE概率流常微分方程它表示在模型定义的速度场中latent 的概率分布如何从高斯噪声连续流回数据分布。生成时从出发将时间从 1 往 0 走得到最终通过 VAE decoder 将 x0 还原为视频。PF-ODE 的重要性质是确定性给定同一个初始 noisy latent、同一个模型、同一个 prompt 和同一个条件确定性的 ODE solver 会得到同一条轨迹和同一终点。这里“确定”指的是对于完整双向视频状态而言可以是确定的但这不意味着丢掉未来帧后单帧映射仍然唯一。4. 多步采样到底在做什么模型输出的是当前状态的 velocity最简单的 Euler ODE 求解器用如下更新其中Δt0 实际时间由 t 向 t−Δt 下降xt−Δt 比 xt 更接近干净视频 latent。例如 4 步采样x1.00 ↓ model(x1.00, 1.00) x0.75 ↓ model(x0.75, 0.75) x0.50 ↓ model(x0.50, 0.50) x0.25 ↓ model(x0.25, 0.25) x0.00真实 sampler 可以用 Euler、Heun 或更高阶 solver本质都是反复调用多步教师沿其速度场进行数值积分。小步更新会不会使用模型预测的 x^0 取决于参数化与 scheduler。若模型直接预测 velocity最简单更新直接使用 v^ 但在线性 flow matching 设定下可由 velocity 推导干净预测因此许多 scheduler 在实现时会模型输出 velocity → 推导 x0 prediction → 再用 x0 prediction、velocity 或噪声 prediction 构造下一步所以理论速度场核心输出是 v^ 实际采样器实现经常会显式使用可由 v^ 推导的 x^0 ODE / consistency 蒸馏学生通常直接把输出定义成对最终端点 x0 的预测。5. 为什么双向教师不能直接蒸馏 AR 学生这是 Causal Forcing 系列最重要的理论动机。5.1 双向教师的映射双向教师生成第 i 帧时可见其端点映射本质是注意其中包含未来5.2 AR 学生的映射因果 AR 学生部署时只能见到其中它不能访问未来。因此学生要学习的是5.3 问题不是“单个样本的未来不固定”对一条具体训练样本历史帧固定 当前 noisy latent固定 未来帧固定 教师输出固定这完全正确。问题在于未来帧没有被放进学生输入。双向教师的真实监督是学生却只能以作为输入。从学生视角未来 xti 是一个隐藏变量。将未来边缘化后目标不再一定是单值函数如果不同未来对应不同教师输出就形成一对多关系。MSE 回归的最优解是条件均值即这会造成多种可能动作被平均方向与姿态变模糊运动幅度变弱时序语义不稳定后续 AR rollout 的误差更容易累积。Causal Forcing 将这一问题称为帧级单射性不成立。6. Causal Forcing 的三阶段训练逻辑Causal Forcing 的策略是把两个问题拆开先完成双向模型 → 因果 AR 模型的架构转换再完成多步 → 少步模型的步数蒸馏。Stage 1Teacher Forcing 训练多步 AR 教师目标输入即当前帧带噪 latent 历史帧干净真实 latent 条件文本 / 图像 / 动作 / 相机位姿等模型输出监督目标损失Teacher Forcing 的意义训练时当前 noisy frame 只能看即干净历史而不能看未来。因此多步 AR 教师本身的条件结构已经与 AR 学生一致AR teacher 可见历史 AR student 可见历史 二者都不可见未来这保证后续蒸馏时目标结构是因果对齐的。Diffusion Forcing 与 Teacher Forcing 的差异Diffusion Forcing 中历史帧也会被加噪而 Teacher Forcing 使用方法历史帧输入Teacher Forcingclean historyx0iDiffusion Forcingnoisy historyxti两者都可训练 AR 扩散模型但 Causal Forcing 系列认为在其少步 AR 蒸馏目标下Teacher Forcing 更利于学习正确的因果条件流。不过也要严格区分Teacher Forcing 并没有彻底消除 AR 的 exposure bias。因为训练时历史是 GT而推理时历史是模型自己生成的只是它避免了另一类错误让当前帧条件在“尚未去噪完成的随机历史噪声”上。7. Causal ODE Distillation前作的正确但昂贵的初始化有了多步 AR 教师后想将其变成 14 步学生需要让学生学到其中表示从当前 noisy latent xt 出发在固定 AR 历史条件 h 下沿多步 AR 教师 PF-ODE 一直积分到 t0 的终点映射。7.1 轨迹生成先固定历史条件 h 文本 / 控制条件 c 初始高斯噪声 x1 。使用多步 AR 教师反复更新形成完整轨迹7.2 学生训练从教师离线保存的轨迹中抽一个中间点学生直接预测该轨迹的终点目标损失这就是“从任意中间 noisy state 直接跳到最终终点”。7.3 为什么需要完整轨迹不是说每次学生反向传播时都要重新让教师完整去噪。通常流程是离线数据准备 每个样本由 AR teacher 完整跑 PF-ODE → 存储多个中间状态与终点 在线学生训练 读取 (x_t, h, t, x0) → student 预测 x0 → MSE 更新 student完整轨迹的作用是生成监督数据如果只跑一步教师 ODE通常只能知道还不知道从 xt 沿教师轨迹最终会到哪个端点。这正是 Causal ODE 蒸馏计算贵、存储也贵的原因。8. Causal Consistency DistillationCF 的核心CF 的关键是仍学习同一个 AR 条件终点映射但不再直接回归完整轨迹终点。8.1 相邻时间点是什么假设当前噪声时刻t0.80选择Δt0.05那么相邻、稍微更干净的时间点就是t−Δt0.75它们位于同一条教师去噪轨迹上x1.00 → x0.90 → x0.80 → x0.75 → x0.70 → … → x0.00其中x0.80 噪声更高x0.75 沿教师 ODE 去噪一小步后的状态两者不是不同视频而是同一个视频生成过程的两个相邻 latent 状态。8.2ODEStep是什么ODEStep不是独立网络它表示用冻结多步 AR 教师的 velocity 做一次数值积分更新。最简单形式记为帽子表示它是教师模型通过一步数值求解得到的估计状态。8.3 Causal CD 的训练步骤对训练视频 latent x0 步骤 1构造 noisy latent步骤 2冻结多步 AR 教师走一步步骤 3学生从当前点预测终点步骤 4EMA target 学生从相邻点预测终点步骤 5让两个预测一致其中θˉ EMA 参数sg stop-gradient目标侧不参与反向传播。8.4 它为什么合理对于同一条教师 PF-ODE 轨迹无论从 xt 还是 xt−Δt 出发最终都应该到达同一个终点所以 Causal CD 不需要直接给学生的端点监督而是通过在相邻轨迹点上建立局部一致性。若这种一致性对整条轨迹上的所有相邻点都成立并施加这一边界条件那么可以递推得到9. EMA target 是什么EMA 是指数移动平均其中θ 当前学生参数θˉ EMA target 参数μ 接近 1 的平滑系数。EMA target 不是另外从头训练的大教师而是当前学生的“慢速平滑副本”。其作用是避免两个不断变化的学生输出彼此追逐不使用 EMA student 的当前输出 vs. student 的当前输出 → 两侧都快速变化训练目标不稳定 使用 EMA 当前 student 输出 vs. 较平滑、较稳定的 EMA-student 输出 → target 更稳定CF 中有两种不同角色角色来源用途多步 AR teacherStage 1 训练后冻结给出局部 ODE stepEMA target student当前少步学生的 EMA给出 consistency target10. ODE 蒸馏和一致性蒸馏的关系二者都属于“少步蒸馏”目标对象相同即学习 AR 教师从中间状态到最终端点的 flow map。区别在监督方式。维度Causal ODE DistillationCausal Consistency Distillation学习目标AR 条件终点映射同一个 AR 条件终点映射监督中间点对完整轨迹终点的回归相邻轨迹点输出一致训练对(xt,h,t)→x0(xt,t)↔(xt−Δt,t−Δt)教师计算需完整 PF-ODE 轨迹每次仅在线走一步是否预存轨迹是否存储成本高无额外轨迹存储优化跨度高噪声点直接预测终点跨度大相邻时间步局部约束CF 系列中的位置Causal Forcing 的 Stage 2Causal Forcing 的 Stage 2因此Causal CD 不是换了一个目标而是换了获得监督信号的方式。11. DMD 阶段的作用为什么 Stage 2 后还要做 DMDStage 2 的任务是让少步 AR 学生具备正确、稳定的少步 flow map。但仅靠 MSE endpoint regression 或 consistency loss常见问题是视觉细节不够锐利纹理、颜色和局部真实感不足少步采样分布与高质量视频分布仍有差距prompt / 控制信号的表现未必最优。于是再做 Stage 3Asymmetric Distribution Matching DistillationDMD。11.1 DMD 的基本角色模块作用Generator / AR student要优化的少步 AR 生成器Real score model冻结的强双向模型提供高质量数据分布方向Fake score model在线训练拟合当前学生生成分布的 score学生生成加噪后DMD 核心不是直接做而是让学生生成分布的 score 接近真实 / 强教师分布的 score。概念性梯度是直觉真实 / 强教师 score “往哪里走更像高质量视频” fake score “当前学生自己生成分布的局部方向” 二者差 “学生生成分布该怎样修正”11.2 DMD 不能替代正确初始化前作 Causal Forcing 的一个重要结论是DMD 可以提升分布质量但不能修复“教师看未来、AR 学生看不到未来”导致的架构错配。若 Stage 2 用双向教师给 AR 学生错误的未来依赖监督则学生最初就学习到条件均值或错误 flow map。此后 DMD 即使能提高纹理也很难从根本上恢复正确动态。所以合理职责分工是Stage 1 建立正确的因果 AR 教师 Stage 2 建立正确且可少步采样的 AR flow map Stage 3 通过 DMD 提升感知质量、分布质量和条件遵循12. 全流程总结表阶段输入模型输出Loss / 监督主要目的双向基模训练完整 noisy video xt1:N、t 、条件 c全视频 velocityvelocity MSE学习高质量视频生成先验Stage 1AR Teacher Forcing当前 noisy latent xti、干净历史 x0i、t,c当前 velocity当前 velocity MSE得到多步因果 AR 教师Stage 2Causal ODEAR 教师轨迹中间点 xt、历史 h终点预测 x^0∣x^0−x0teacher∣2多步 AR → 少步 AR但需完整轨迹Stage 2Causal CDxt,h,t 与教师一步后的 x^t−Δt,h,t−Δt两侧终点预测consistency MSE无完整轨迹、低成本学少步 ARStage 3DMD学生 self-rollout 样本及其 noisy version分布更新方向real/fake score difference提升生成分布、纹理和控制质量13. 对论文贡献的评价13.1 真正的创新点CF 不是提出了一个全新视频 backbone也不是仅仅把采样步数从 4 改为 2。它的创新是保留 Causal Forcing 的理论正确性即 Stage 2 必须由 AR teacher 提供因果一致的监督。发现 Causal ODE 的瓶颈是轨迹监督成本正确但昂贵需要完整 PF-ODE trajectory generation 与存储。证明 / 主张 Causal CD 学习同一 AR 条件 flow map只是从“端点监督”改成“相邻一致性监督”。将研究重点推进到 frame-wise 12 step这更接近真实交互式视频和世界模型所需的低延迟粒度。13.2 工程意义Causal CD 的价值不只是节省算力原始 Causal ODE 每改变一个采样配置 / chunk 设置 → 常要重新准备完整轨迹数据 Causal CD 训练时在线只走一步 → 更容易切换 frame-wise、chunk-wise、1-step、2-step、4-step 配置这使研究者能更低成本探索不同采样步数不同 chunk 大小不同分辨率不同动作 / 相机控制条件不同基础视频模型。13.3 仍然存在的局限论文的改进并不意味着长时视频问题已经解决AR rollout 误差累积仍存在Causal CD 提高了稳定性但历史误差仍会传播。1-step 是更难的极限设定少步越极端语义、动态和细节之间的权衡越明显。世界模型展示仍是早期形式动作或相机控制视频生成不等同于具备长期 3D 几何一致性、物理规则和可规划能力的完整世界模型。性能依赖基础模型、分辨率和硬件条件“实时”必须结合具体 GPU、吞吐、首帧延迟和分辨率解释不能脱离实验设定泛化。14. 最终结论Causal Forcing 的完整逻辑可以压缩成下面这条链高质量双向视频扩散基模 ↓ Teacher Forcing 训练多步 AR teacher ↓ 确保 teacher 与 AR student 都只使用历史条件 ↓ 避免双向教师未来信息造成的帧级目标错配 ↓ 用 Causal CD 进行少步初始化 ↓ 仅用一次在线教师 ODE step 建立相邻轨迹一致性 ↓ 避免预计算、存储完整 PF-ODE trajectory ↓ 再使用 DMD 做生成分布与视觉质量精调 ↓ 得到逐帧、12 步、低延迟的 AR 视频生成器最本质的理解是Causal Forcing 解决“应该向谁学”的问题少步 AR 学生必须从 AR 教师学。Causal Forcing 解决“怎样更便宜地学”的问题不必保存完整教师轨迹只需在线学习相邻轨迹状态的一致性。
