这项由阿里巴巴集团与南京大学联合开展的研究于2026年5月以预印本形式发布论文编号为arXiv:2605.20708。研究团队来自阿里巴巴集团、南京大学、浙江大学和香港城市大学聚焦于当下最热门的AI图像生成技术领域提出了一种名为扩散自适应路由Diffusion-Adaptive Routing简称DAR的新方法在不增加太多额外计算成本的前提下大幅提升了AI图像生成模型的训练效率和生成质量。一、一栋大楼里的信息传递出了什么问题要理解这项研究可以把一个现代AI图像生成模型想象成一栋高层办公楼。这栋楼里有许多层对应模型的层或块每一层都有一个办公室负责对收到的信息进行加工处理然后把结果传给上一层。最顶层的办公室汇总所有信息最终输出一张图片。这栋楼里的信息是怎么传递的呢按照传统设计每一层的输出都会直接累加到一根总线上然后传给下一层。这就像每个办公室处理完文件后都把自己的结论写在同一张纸条上一层一层叠加上去传给楼上的同事。这种方式简单直接几十年来被几乎所有类似的模型沿用。然而研究团队在仔细检查这栋楼的运作方式后发现了三个严重问题。第一个问题是纸条越来越厚。随着信息从底层一路传到顶层那张纸条上叠加的内容越来越多数字越来越大——研究人员测量后发现从第1层到第28层这个累积量膨胀了将近100倍从约15.5暴涨到约1576。这会导致楼上的办公室越来越难以看清自己写下的那一行字相对于整张纸条的重要性信息被严重稀释。第二个问题是上层员工几乎收不到考核反馈。在AI模型训练期间系统会通过错误信号即梯度反向告知每一层你哪里做得不够好需要改进。但研究团队发现由于那根总线上的数字越来越大错误信号在往下传递时急剧衰减——前5层的员工能收到清晰的反馈而楼上20多层的员工收到的信号几乎可以忽略不计比前5层低了一个数量级以上。这意味着楼上大量的员工长期处于几乎没有学习机会的状态白白浪费了算力。第三个问题是相邻楼层在重复做同样的事。研究团队还测量了相邻两层输出内容的相似程度结果发现整栋楼的深层区域相邻两层的输出内容相似度始终高于0.9满分为1.0。换句话说第15层和第16层做的事情几乎一模一样大量计算在无意义地重复造成严重浪费。这三个问题——信息膨胀、梯度衰减、层间冗余——在学术界有一个统称叫做PreNorm稀释现象此前在大型语言模型如GPT类模型中也被观察到过。但研究团队指出在图像生成模型中还有一个额外维度让问题更加复杂时间步长timestep。二、图像生成模型特有的时间维度问题图像生成的过程可以理解为从一张完全是随机噪点的图片一步一步去噪逐渐还原出清晰图像的过程。这个过程分很多步每一步对应一个时间步长——从接近纯噪声的高噪声阶段到接近清晰图像的低噪声阶段。在高噪声阶段模型需要关注的是图像的整体结构和大致轮廓在低噪声阶段模型需要关注的是细节纹理和高频信息。这意味着在不同的时间步长下模型各层产出的信息哪些重要、哪些不重要应该是动态变化的。然而传统的总线叠加方式对所有历史层的输出一视同仁每一层的贡献权重都固定为1完全不管现在是在高噪声阶段还是低噪声阶段也不管某一层的输出在此刻是否真的有价值。这就像一个厨师在做菜时无论是刚开始爆香阶段还是最后收汁阶段都以完全相同的方式处理所有食材从不根据烹饪进度调整策略。研究团队通过一个巧妙的实验验证了这个问题的真实存在。他们在原始模型的每一个历史层输出上悄悄附加了一个虚拟开关初始化为1不改变模型实际行为然后通过计算训练损失相对于这些开关的梯度来推断如果这个模型有路由器它会在不同时间步长下更偏好哪些层的输出。结果非常清晰即便原始模型从未被训练去做这种选择不同时间步长下各层的理想权重也明显不同。这说明对时间步长的感知是图像生成模型的内在需求只是传统架构没有满足它。三、新方案给信息传递装上智能分配器既然发现了问题研究团队设计了一套新的解决方案——DAR扩散自适应路由。回到那栋办公楼的比喻。原先的做法是每一层只是把所有前任层的输出统统加在一起权重相同传给下一层。DAR的做法是在每一层先回顾所有前面层输出的内容用一种类似注意力的机制softmax加权求和根据当前层的状态和当前所处的时间步长智能地决定每个历史层的输出应该被分配多少权重然后用这个加权组合作为当前层的输入。这就像办公楼里每个楼层在开始工作前不再机械地翻看所有前辈写下的全部内容而是先快速扫一眼全部历史资料根据当前任务的需求有针对性地重点参考某几层的内容忽略其他不相关的内容。具体来说DAR中的每一层会计算一个查询向量query用它去匹配所有历史层输出对应的键向量key通过softmax归一化得到各历史层的权重最终加权求和。这套机制有三种变体区别在于查询向量如何生成第一种是静态模式查询向量是一个固定的可学习参数本身不随时间步长变化第二种是显式时间注入模式在静态参数的基础上叠加模型已有的时间步嵌入信号让查询向量能感知到当前处于哪个去噪阶段第三种是动态模式查询向量由上一层的实际输出经过线性变换得到由于模型各层的输出本身就携带了丰富的时间步信息这种方式能隐式地实现时间感知。研究团队通过实验证明后两种带有时间步感知的变体性能显著优于第一种纯静态模式——在100K训练步时静态模式的FID衡量图像质量的指标越低越好为22.36而动态模式仅为13.95显式时间注入模式为17.39。这有力地说明时间步感知是DAR能够发挥作用的核心要素。为了进一步验证动态模式隐式携带时间信息这一假设研究团队专门做了一个线性探针实验冻结已训练好的动态DAR模型对每一层的聚合输出进行线性回归看能否准确预测当前的时间步长。结果显示所有28层的R?预测准确度满分1.0均远高于0.80的基准前5层就达到0.95以上深层接近1.0。这证明时间步信息确实被完整地编码在模型各层的动态输出中动态查询向量因此天然具备强烈的时间感知能力。四、处理内存开销的工程智慧分块聚合理论上DAR需要保存所有历史层的输出以便在每一层做加权聚合。对于一个有28个块每块含2个子层共56个子层的模型来说这意味着要储存56份完整的隐藏状态内存开销会随着层数线性增长对于更深的模型来说很快就会变得不可接受。为此研究团队设计了一种分块聚合策略。具体做法是将所有子层按顺序分成若干块chunk每块包含S个子层。当某一子层需要进行聚合时它能看到的历史信息来自两部分一是此前所有块各自的代表即每块最后一个子层的输出作为该块的摘要二是当前块内在它之前的所有子层输出。这样聚合时需要处理的来源数量从O(L)降低到O(SN)其中N是块的数量S是块的大小。那么块的大小S该选多少研究团队从理论上推导出一个成本函数发现S存在一个最优值S* √(L·(1-α)/(1α))其中α是一个介于0和1之间的参数反映分块压缩造成的信息损失程度。对于SiT-XL/2这个模型共56个子层代入合理的α范围预测最优块大小约为3.7到4.9之间即S4。实验结果完美印证了这一预测S4时FID为8.39远好于S1FID 10.41和S8FID 11.14呈现出清晰的U形曲线两端都差中间最好。这个理论结果还有一个有趣的推论随着模型越来越深L越大最优块大小S*也应该按√L的规律增大。这意味着当未来的模型扩展到更深的架构时需要相应地调大块的大小而不是固定使用S4。五、实验验证数据说话研究团队在ImageNet 256×256这一标准图像生成基准上进行了系统性的实验对比。基准对比方面原始SiT-XL/2模型675M参数训练175万步后在无分类器引导CFG条件下的ODE采样FID为9.67。而DAR静态c4变体同样使用675M参数仅训练60万步ODE FID就达到了7.56提升了2.11分若使用SDE采样FID更低至6.92。DAR动态c4变体751M参数训练50万步后ODE FID为8.07SDE FID为7.39加上CFG后ODE FID进一步降至2.05优于基准的2.15。换一个更直观的说法原始模型需要跑175万步才能到达的质量水平DAR模型只需约20万步就能达到实现了约8.75倍的训练加速。为了排除DAR性能好只是因为参数更多这一可能的混淆因素研究团队专门训练了一个叫做SiT-Plus的加宽版基准模型参数量与DAR动态c4相当752M且使用了两倍的训练预算175万步。结果SiT-Plus的FID仍然远差于DAR彻底证明DAR的收益来自架构设计本身而非单纯的参数扩容。与U-Net风格跳跃连接的对比也值得一提。此前有一类方法如U-ViT、U-DiT等通过手工设计长跳跃连接将浅层输出直接传给特定深层以此改善信息流动。在SDECFG条件下DAR静态c4以仅为U-DiT-L参数量83%的体量FID仍优于后者0.77分在ODE条件下DAR动态c4比U-ViT-H/2改善了0.24分。更重要的是DAR不需要手工指定哪层连哪层保留了Transformer天然的均匀堆叠结构有利于未来继续扩展规模。六、与REPA叠加两种加速策略互不干扰REPA是另一种加速DiT训练的方法其核心思路是在训练时增加一个辅助损失强制模型中间层的表征对齐预训练视觉编码器如DINOv2的输出从而让模型更快学会有意义的表征。REPA的介入点是训练目标不涉及模型内部的信息传递方式。DAR的介入点是模型架构中的残差连接与训练目标完全无关。两种方法从不同维度各自改善了模型的学习效率因此理论上可以叠加使用而不会相互抵消。实验结果印证了这一判断。在100K训练步时单独使用REPA的FID为9.89而DARREPA组合为7.09200K步时分别为6.89和5.92300K步时分别为6.29和5.68。尤为值得注意的是DARREPA在100K步时的FID7.09已经好过单独使用REPA在200K步时的FID6.89。这意味着这两种加速机制叠加后早期训练阶段相当于实现了约2倍的额外加速两种方法的收益确实是相加而非相互抵消的。七、工程优化让DAR实际可用的底层加速DAR需要在每一层对所有历史源进行聚合运算朴素实现会带来严重的性能瓶颈——每次聚合都需要多次读写显存HBM当历史源数量N随层数增大时延迟和内存开销都会急剧攀升。研究团队为此专门实现了一个高效的Triton内核。核心思路是将整个聚合过程融合进一个单一的CUDA内核利用在线softmax递推在一次遍历历史源的过程中同时完成RMSNorm、点积、归一化和加权求和使得每个历史源只需从显存读取一次所有中间结果如RMS值、键向量、点积值、指数值都只存在寄存器中不写入显存。反向传播内核则用两次流式遍历替代原本的四到五次读写。实测结果以SiT-XL/2的工作点N57为例动态变体的前向延迟从22.5ms降至1.96ms加速11.5倍反向从115.8ms降至13.6ms加速8.5倍前向激活显存峰值降低78.7%反向降低74.6%静态变体的显存节省更高达82.1%。这些节省随N单调递增意味着随着模型变得更深、历史源更多这套优化方案的价值只会越来越大。八、在真实产品模型上的应用大图像生成后训练除了在学术基准上的验证研究团队还将DAR应用于一项更贴近实际产品的任务对阿里巴巴旗下的大规模文生图模型Qwen-Image进行分布匹配蒸馏Distribution Matching DistillationDMD后训练。DMD是一种让模型从需要数百步推理压缩到仅需4步推理的技术但代价是容易丢失图像中的高频细节如锐利边缘、精细纹理。研究团队发现当Qwen-Image配备DAR后DMD蒸馏得到的模型能更好地保留这些高频细节视觉质量明显优于未使用DAR的基线。研究团队将此归因于DAR带来的更平衡的梯度流动使得蒸馏这一本就脆弱的训练过程更加稳定从而能更好地保留细节信息。具体来说实验使用了LoRA微调秩为64学生分支学习率5×10??4步去噪引导系数4.0在1024×1024分辨率下训练。说到底这项研究揭示的是一件长期被忽视的事AI图像生成模型里信息究竟是怎样从一层传到另一层的这件事本身就是一个值得认真设计的问题而不是直接从语言模型里搬过来就行了。过去几年里研究者们在模型的方方面面做了大量改进——用更好的编码器、更精妙的训练目标、更强大的文本理解能力——但信息在层与层之间的传递方式几乎没有人动过。这次研究团队把这个传统捡起来仔细审视发现问题比想象中严重改进空间也比想象中大。归根结底DAR的贡献不在于发明了某种全新的数学工具而在于把一个正确的问题问到了正确的地方。当一个模型有28层甚至更多层时每一层应该重点参考哪些历史输出在去噪的不同阶段应该有不同的答案——这件事应该由模型自己学会而不是被硬编码成所有历史输出权重相同。对于普通用户而言这项研究最直接的影响是未来你使用AI生图工具时生成同等质量图片所需的训练成本可能大幅降低而图像的细节质量尤其是在边缘锐利度和纹理精细度上可能会有可见的提升。对于研究者而言这项研究提示了一个值得持续探索的方向当模型规模继续扩大、层数继续增加时跨层信息路由的设计将变得越来越重要DAR可能只是这个方向上的第一步。感兴趣的读者可以通过arXiv编号2605.20708查阅完整论文。QAQ1DAR方法和普通残差连接相比具体改变了什么A普通残差连接会把所有历史层的输出以相同权重都是1累加传递给下一层不管哪层更重要。DAR改成了用softmax加权求和每一层可以根据当前状态和去噪阶段动态决定各历史层的贡献比例权重由模型自己学习而不是固定为1。Q2DAR训练速度提升8.75倍是怎么算出来的A原始SiT-XL/2模型需要训练175万步才能收敛到最终质量FID约9.67。DAR静态c4在约20万步时就能达到同等FID水平175万÷20万≈8.75所以说是约8.75倍加速。这是在参数量相同675M的条件下测量的排除了参数增多的影响。Q3DAR分块聚合的块大小为什么选4而不是其他值A研究团队从理论上推导出最优块大小公式S*√(L·(1-α)/(1α))。对于SiT-XL/2共56个子层代入合理参数范围后预测最优值在3.7到4.9之间即S4。实验也证实S4时FID最低S1和S8都更差呈U形曲线与理论预测完全吻合。
阿里巴巴与南京大学联手：给AI图像生成模型换上“智能神经网络“
这项由阿里巴巴集团与南京大学联合开展的研究于2026年5月以预印本形式发布论文编号为arXiv:2605.20708。研究团队来自阿里巴巴集团、南京大学、浙江大学和香港城市大学聚焦于当下最热门的AI图像生成技术领域提出了一种名为扩散自适应路由Diffusion-Adaptive Routing简称DAR的新方法在不增加太多额外计算成本的前提下大幅提升了AI图像生成模型的训练效率和生成质量。一、一栋大楼里的信息传递出了什么问题要理解这项研究可以把一个现代AI图像生成模型想象成一栋高层办公楼。这栋楼里有许多层对应模型的层或块每一层都有一个办公室负责对收到的信息进行加工处理然后把结果传给上一层。最顶层的办公室汇总所有信息最终输出一张图片。这栋楼里的信息是怎么传递的呢按照传统设计每一层的输出都会直接累加到一根总线上然后传给下一层。这就像每个办公室处理完文件后都把自己的结论写在同一张纸条上一层一层叠加上去传给楼上的同事。这种方式简单直接几十年来被几乎所有类似的模型沿用。然而研究团队在仔细检查这栋楼的运作方式后发现了三个严重问题。第一个问题是纸条越来越厚。随着信息从底层一路传到顶层那张纸条上叠加的内容越来越多数字越来越大——研究人员测量后发现从第1层到第28层这个累积量膨胀了将近100倍从约15.5暴涨到约1576。这会导致楼上的办公室越来越难以看清自己写下的那一行字相对于整张纸条的重要性信息被严重稀释。第二个问题是上层员工几乎收不到考核反馈。在AI模型训练期间系统会通过错误信号即梯度反向告知每一层你哪里做得不够好需要改进。但研究团队发现由于那根总线上的数字越来越大错误信号在往下传递时急剧衰减——前5层的员工能收到清晰的反馈而楼上20多层的员工收到的信号几乎可以忽略不计比前5层低了一个数量级以上。这意味着楼上大量的员工长期处于几乎没有学习机会的状态白白浪费了算力。第三个问题是相邻楼层在重复做同样的事。研究团队还测量了相邻两层输出内容的相似程度结果发现整栋楼的深层区域相邻两层的输出内容相似度始终高于0.9满分为1.0。换句话说第15层和第16层做的事情几乎一模一样大量计算在无意义地重复造成严重浪费。这三个问题——信息膨胀、梯度衰减、层间冗余——在学术界有一个统称叫做PreNorm稀释现象此前在大型语言模型如GPT类模型中也被观察到过。但研究团队指出在图像生成模型中还有一个额外维度让问题更加复杂时间步长timestep。二、图像生成模型特有的时间维度问题图像生成的过程可以理解为从一张完全是随机噪点的图片一步一步去噪逐渐还原出清晰图像的过程。这个过程分很多步每一步对应一个时间步长——从接近纯噪声的高噪声阶段到接近清晰图像的低噪声阶段。在高噪声阶段模型需要关注的是图像的整体结构和大致轮廓在低噪声阶段模型需要关注的是细节纹理和高频信息。这意味着在不同的时间步长下模型各层产出的信息哪些重要、哪些不重要应该是动态变化的。然而传统的总线叠加方式对所有历史层的输出一视同仁每一层的贡献权重都固定为1完全不管现在是在高噪声阶段还是低噪声阶段也不管某一层的输出在此刻是否真的有价值。这就像一个厨师在做菜时无论是刚开始爆香阶段还是最后收汁阶段都以完全相同的方式处理所有食材从不根据烹饪进度调整策略。研究团队通过一个巧妙的实验验证了这个问题的真实存在。他们在原始模型的每一个历史层输出上悄悄附加了一个虚拟开关初始化为1不改变模型实际行为然后通过计算训练损失相对于这些开关的梯度来推断如果这个模型有路由器它会在不同时间步长下更偏好哪些层的输出。结果非常清晰即便原始模型从未被训练去做这种选择不同时间步长下各层的理想权重也明显不同。这说明对时间步长的感知是图像生成模型的内在需求只是传统架构没有满足它。三、新方案给信息传递装上智能分配器既然发现了问题研究团队设计了一套新的解决方案——DAR扩散自适应路由。回到那栋办公楼的比喻。原先的做法是每一层只是把所有前任层的输出统统加在一起权重相同传给下一层。DAR的做法是在每一层先回顾所有前面层输出的内容用一种类似注意力的机制softmax加权求和根据当前层的状态和当前所处的时间步长智能地决定每个历史层的输出应该被分配多少权重然后用这个加权组合作为当前层的输入。这就像办公楼里每个楼层在开始工作前不再机械地翻看所有前辈写下的全部内容而是先快速扫一眼全部历史资料根据当前任务的需求有针对性地重点参考某几层的内容忽略其他不相关的内容。具体来说DAR中的每一层会计算一个查询向量query用它去匹配所有历史层输出对应的键向量key通过softmax归一化得到各历史层的权重最终加权求和。这套机制有三种变体区别在于查询向量如何生成第一种是静态模式查询向量是一个固定的可学习参数本身不随时间步长变化第二种是显式时间注入模式在静态参数的基础上叠加模型已有的时间步嵌入信号让查询向量能感知到当前处于哪个去噪阶段第三种是动态模式查询向量由上一层的实际输出经过线性变换得到由于模型各层的输出本身就携带了丰富的时间步信息这种方式能隐式地实现时间感知。研究团队通过实验证明后两种带有时间步感知的变体性能显著优于第一种纯静态模式——在100K训练步时静态模式的FID衡量图像质量的指标越低越好为22.36而动态模式仅为13.95显式时间注入模式为17.39。这有力地说明时间步感知是DAR能够发挥作用的核心要素。为了进一步验证动态模式隐式携带时间信息这一假设研究团队专门做了一个线性探针实验冻结已训练好的动态DAR模型对每一层的聚合输出进行线性回归看能否准确预测当前的时间步长。结果显示所有28层的R?预测准确度满分1.0均远高于0.80的基准前5层就达到0.95以上深层接近1.0。这证明时间步信息确实被完整地编码在模型各层的动态输出中动态查询向量因此天然具备强烈的时间感知能力。四、处理内存开销的工程智慧分块聚合理论上DAR需要保存所有历史层的输出以便在每一层做加权聚合。对于一个有28个块每块含2个子层共56个子层的模型来说这意味着要储存56份完整的隐藏状态内存开销会随着层数线性增长对于更深的模型来说很快就会变得不可接受。为此研究团队设计了一种分块聚合策略。具体做法是将所有子层按顺序分成若干块chunk每块包含S个子层。当某一子层需要进行聚合时它能看到的历史信息来自两部分一是此前所有块各自的代表即每块最后一个子层的输出作为该块的摘要二是当前块内在它之前的所有子层输出。这样聚合时需要处理的来源数量从O(L)降低到O(SN)其中N是块的数量S是块的大小。那么块的大小S该选多少研究团队从理论上推导出一个成本函数发现S存在一个最优值S* √(L·(1-α)/(1α))其中α是一个介于0和1之间的参数反映分块压缩造成的信息损失程度。对于SiT-XL/2这个模型共56个子层代入合理的α范围预测最优块大小约为3.7到4.9之间即S4。实验结果完美印证了这一预测S4时FID为8.39远好于S1FID 10.41和S8FID 11.14呈现出清晰的U形曲线两端都差中间最好。这个理论结果还有一个有趣的推论随着模型越来越深L越大最优块大小S*也应该按√L的规律增大。这意味着当未来的模型扩展到更深的架构时需要相应地调大块的大小而不是固定使用S4。五、实验验证数据说话研究团队在ImageNet 256×256这一标准图像生成基准上进行了系统性的实验对比。基准对比方面原始SiT-XL/2模型675M参数训练175万步后在无分类器引导CFG条件下的ODE采样FID为9.67。而DAR静态c4变体同样使用675M参数仅训练60万步ODE FID就达到了7.56提升了2.11分若使用SDE采样FID更低至6.92。DAR动态c4变体751M参数训练50万步后ODE FID为8.07SDE FID为7.39加上CFG后ODE FID进一步降至2.05优于基准的2.15。换一个更直观的说法原始模型需要跑175万步才能到达的质量水平DAR模型只需约20万步就能达到实现了约8.75倍的训练加速。为了排除DAR性能好只是因为参数更多这一可能的混淆因素研究团队专门训练了一个叫做SiT-Plus的加宽版基准模型参数量与DAR动态c4相当752M且使用了两倍的训练预算175万步。结果SiT-Plus的FID仍然远差于DAR彻底证明DAR的收益来自架构设计本身而非单纯的参数扩容。与U-Net风格跳跃连接的对比也值得一提。此前有一类方法如U-ViT、U-DiT等通过手工设计长跳跃连接将浅层输出直接传给特定深层以此改善信息流动。在SDECFG条件下DAR静态c4以仅为U-DiT-L参数量83%的体量FID仍优于后者0.77分在ODE条件下DAR动态c4比U-ViT-H/2改善了0.24分。更重要的是DAR不需要手工指定哪层连哪层保留了Transformer天然的均匀堆叠结构有利于未来继续扩展规模。六、与REPA叠加两种加速策略互不干扰REPA是另一种加速DiT训练的方法其核心思路是在训练时增加一个辅助损失强制模型中间层的表征对齐预训练视觉编码器如DINOv2的输出从而让模型更快学会有意义的表征。REPA的介入点是训练目标不涉及模型内部的信息传递方式。DAR的介入点是模型架构中的残差连接与训练目标完全无关。两种方法从不同维度各自改善了模型的学习效率因此理论上可以叠加使用而不会相互抵消。实验结果印证了这一判断。在100K训练步时单独使用REPA的FID为9.89而DARREPA组合为7.09200K步时分别为6.89和5.92300K步时分别为6.29和5.68。尤为值得注意的是DARREPA在100K步时的FID7.09已经好过单独使用REPA在200K步时的FID6.89。这意味着这两种加速机制叠加后早期训练阶段相当于实现了约2倍的额外加速两种方法的收益确实是相加而非相互抵消的。七、工程优化让DAR实际可用的底层加速DAR需要在每一层对所有历史源进行聚合运算朴素实现会带来严重的性能瓶颈——每次聚合都需要多次读写显存HBM当历史源数量N随层数增大时延迟和内存开销都会急剧攀升。研究团队为此专门实现了一个高效的Triton内核。核心思路是将整个聚合过程融合进一个单一的CUDA内核利用在线softmax递推在一次遍历历史源的过程中同时完成RMSNorm、点积、归一化和加权求和使得每个历史源只需从显存读取一次所有中间结果如RMS值、键向量、点积值、指数值都只存在寄存器中不写入显存。反向传播内核则用两次流式遍历替代原本的四到五次读写。实测结果以SiT-XL/2的工作点N57为例动态变体的前向延迟从22.5ms降至1.96ms加速11.5倍反向从115.8ms降至13.6ms加速8.5倍前向激活显存峰值降低78.7%反向降低74.6%静态变体的显存节省更高达82.1%。这些节省随N单调递增意味着随着模型变得更深、历史源更多这套优化方案的价值只会越来越大。八、在真实产品模型上的应用大图像生成后训练除了在学术基准上的验证研究团队还将DAR应用于一项更贴近实际产品的任务对阿里巴巴旗下的大规模文生图模型Qwen-Image进行分布匹配蒸馏Distribution Matching DistillationDMD后训练。DMD是一种让模型从需要数百步推理压缩到仅需4步推理的技术但代价是容易丢失图像中的高频细节如锐利边缘、精细纹理。研究团队发现当Qwen-Image配备DAR后DMD蒸馏得到的模型能更好地保留这些高频细节视觉质量明显优于未使用DAR的基线。研究团队将此归因于DAR带来的更平衡的梯度流动使得蒸馏这一本就脆弱的训练过程更加稳定从而能更好地保留细节信息。具体来说实验使用了LoRA微调秩为64学生分支学习率5×10??4步去噪引导系数4.0在1024×1024分辨率下训练。说到底这项研究揭示的是一件长期被忽视的事AI图像生成模型里信息究竟是怎样从一层传到另一层的这件事本身就是一个值得认真设计的问题而不是直接从语言模型里搬过来就行了。过去几年里研究者们在模型的方方面面做了大量改进——用更好的编码器、更精妙的训练目标、更强大的文本理解能力——但信息在层与层之间的传递方式几乎没有人动过。这次研究团队把这个传统捡起来仔细审视发现问题比想象中严重改进空间也比想象中大。归根结底DAR的贡献不在于发明了某种全新的数学工具而在于把一个正确的问题问到了正确的地方。当一个模型有28层甚至更多层时每一层应该重点参考哪些历史输出在去噪的不同阶段应该有不同的答案——这件事应该由模型自己学会而不是被硬编码成所有历史输出权重相同。对于普通用户而言这项研究最直接的影响是未来你使用AI生图工具时生成同等质量图片所需的训练成本可能大幅降低而图像的细节质量尤其是在边缘锐利度和纹理精细度上可能会有可见的提升。对于研究者而言这项研究提示了一个值得持续探索的方向当模型规模继续扩大、层数继续增加时跨层信息路由的设计将变得越来越重要DAR可能只是这个方向上的第一步。感兴趣的读者可以通过arXiv编号2605.20708查阅完整论文。QAQ1DAR方法和普通残差连接相比具体改变了什么A普通残差连接会把所有历史层的输出以相同权重都是1累加传递给下一层不管哪层更重要。DAR改成了用softmax加权求和每一层可以根据当前状态和去噪阶段动态决定各历史层的贡献比例权重由模型自己学习而不是固定为1。Q2DAR训练速度提升8.75倍是怎么算出来的A原始SiT-XL/2模型需要训练175万步才能收敛到最终质量FID约9.67。DAR静态c4在约20万步时就能达到同等FID水平175万÷20万≈8.75所以说是约8.75倍加速。这是在参数量相同675M的条件下测量的排除了参数增多的影响。Q3DAR分块聚合的块大小为什么选4而不是其他值A研究团队从理论上推导出最优块大小公式S*√(L·(1-α)/(1α))。对于SiT-XL/2共56个子层代入合理参数范围后预测最优值在3.7到4.9之间即S4。实验也证实S4时FID最低S1和S8都更差呈U形曲线与理论预测完全吻合。
