扩散模型diffusion

扩散模型Diffusion Models是最近生成式 AI领域的绝对核心近年来只要涉及AI生成视频、图像它的底层原理几乎都绕不开diffusionDiffusion与GAN在扩散模型之前GAN 的逻辑是“一步到位”。给生成器一个随机噪声要求它立刻输出一张完美的 4K 图像。这就像让一个刚学画画的学徒闭着眼睛一笔画出一幅《蒙娜丽莎》。由于难度太高生成器经常崩溃或者只能翻来覆去画它最擅长的那几笔Mode Collapse。而扩散模型把这个极难的任务拆解成了 1000 步的微小去噪任务。它不要求神经网络凭空捏造一张图片而只要求它“把眼前这张带点噪声的图变得稍微清晰那么一点点”。对神经网络来说在每一步预测噪声的数学难度远远小于直接生成图像。通过 1000 次微小的修正错误在每一步都被不断校正最终积少成多化腐朽为神奇。扩散模型的工作原理始于随机噪声扩散模型不是从空白画布开始而是从充满纯静态或随机噪声的画布起步就像老式电视的雪花屏渐进去噪通过许多小步骤每次尝试去除少量噪声使图像或视频略微清晰指令引导每个步骤都使用文本调节器生成的数字编码作为引导确保去噪过程朝着预期画面发展精炼成连贯视频经过多次去噪后随机噪声转变为可识别的高质量视频序列扩散模型的核心训练过程forward process这个过程不需要训练它是一个纯粹的数学公式。我们从一张真实的图片x0 开始每一步都向其中添加一点点极其微小的高斯噪声。随着步数t通常是 1000 步的增加图片中的结构信息彻底消失。核心细节数学上有一个非常优雅的推导使得我们不需要真的模拟 1000 次加噪。我们可以直接通过一个公式一步到位计算出第 t 步加噪后的图片是什么样。最终的 xt会变成一个符合标准正态分布N(0,I) 的纯噪声reverse process这是扩散模型需要投入海量算力去训练的部分。既然 xt 是一堆纯噪声我们想把它还原。但是从噪声还原图片的路径有无数条神经网络通常是U-Net架构要做的就是预测在前向过程中当前这一步到底加入了多少噪声。一旦神经网络成功“猜”出了当前步的噪声我们就可以把这部分噪声减掉从而逆向推导回上一步稍微清晰一点的图片 x(t-1)。如此循环 1000 步就能凭空生成一张高质量的全新图像。