作者vivo BlueImage Lab摘要我们团队提出了 VeraRetouch一个轻量、全可微分、可移动端部署的多任务推理式照片修图框架。VeraRetouch 不仅能自动修图还能听懂用户想要的风格描述甚至能执行精确的参数式调整。通过将 0.6B 视觉语言模型作为“修图大脑”并设计全可微分的 Retouch Renderer 作为“修图执行器”VeraRetouch 能够把高层语言意图转化为低层像素级调整在保持图像结构和细节的同时完成专业化色调与色彩优化。对应的论文已被 SIGGRAPH 2026 接收SIGGRAPH全称ACM SIGGRAPH 202653 届国际计算机图形学与交互技术顶会。官网 SIGGRAPH 2026论文链接 https://arxiv.org/pdf/2604.27375项目主页 VeraRetouch Project Page代码链接 https://github.com/OpenVeraTeam/VeraRetouch在手机摄影已经成为日常表达方式的今天拍照只是第一步。真正让一张照片“好看起来”的往往是后期修图提亮暗部、压住高光、校准肤色、调出某种胶片感或者让整张照片更通透、更有氛围。但问题也随之而来专业修图软件门槛高普通用户很难准确知道该调曝光、对比度、色温还是局部色彩一键滤镜虽然方便却常常“味儿太重”要么破坏细节要么把所有照片修成同一种风格。近年来多模态大模型和图像生成技术开始进入修图场景但不少方法仍依赖 Lightroom、Photoshop 等外部工具模型只负责“下指令”真正的像素级调整并不在可微分框架内完成因此很难端到端优化且采用的多模态大模型参数量过大不利于移动端部署。我们团队联合浙江大学CADCG全国重点实验室、之江实验室与中国科学院大学联合发布了一项新的研究工作 VeraRetouch面向多任务推理式照片修图提出了一个轻量、全可微分、可移动端部署的修图框架。它不仅能自动修图还能听懂用户想要的风格描述甚至能执行精确的参数式调整。通过将 0.6B 视觉语言模型作为“修图大脑”并设计全可微分的 Retouch Renderer 作为“修图执行器”VeraRetouch 能够把高层语言意图转化为低层像素级调整在保持图像结构和细节的同时完成专业化色调与色彩优化。一、全新框架让大模型真正“会修图”而不只是会说怎么修传统自动修图方法大多像一个黑盒输入照片输出结果中间缺少明确的审美分析与调整逻辑。后来的推理式修图方法引入多模态大模型让模型能够分析照片问题、给出修图步骤再调用外部工具执行调整。这条路线更接近人类修图师的工作方式但也带来一个核心瓶颈外部修图软件通常不可微分。模型生成的参数能否真正带来更好的像素结果很难通过端到端训练直接优化。VeraRetouch 的关键创新在于它不再把专业修图工具当作外部黑盒而是用一个全可微分的 Retouch Renderer 替代传统软件中的调色与调光操作。这样一来模型不仅能“推理出该怎么修”还能通过图像监督直接学习“怎样修才真的好看”。研究团队将修图空间拆解为三个相对独立的控制维度Lighting曝光、阴影、高光等光照相关调整Global Color色温、色调、整体颜色倾向等全局色彩调整Specific Color针对红色、橙色、蓝色等特定颜色通道的精细调整这种拆解方式与专业修图流程高度一致也让模型的输出更可解释、更稳定。图 1Retouch Encoder 从参考图像对中提取光照、全局色彩和特定色彩控制 latentRetouch Renderer 再将这些控制信号映射到像素级修图结果。二、三种任务从“一键变好看”到“按你说的修”VeraRetouch 面向真实用户需求定义了三类修图任务。图 2组合VeraRetouch 支持自动修图、风格修图与参数修图三类典型工作流让用户可以快速从“这张图需要怎么修”理解到“模型正在做什么”。第一类是Auto-Retouch。用户只需要输入一张照片模型自动分析画面中的光影和色彩问题并生成修图方案。这对应最常见的“一键优化”场景但目标不是套滤镜而是在保留原图内容的基础上提升整体观感。第二类是Style-Retouch。用户可以用自然语言描述想要的风格比如“温暖秋日感”“冷调日系透明感”“暗调情绪胶片风”。模型会结合图像内容和文本意图推理出具体的调色方向并生成符合风格描述的结果。第三类是Param-Retouch。模型可以根据明确的参数指令进行修图例如对比度、曝光、色温、饱和度等。换句话说它既能“自己看图修”也能“听懂你想要什么风格”还能“按参数执行”。三、数据问题怎么解决构建百万级专业修图数据集高质量修图模型离不开高质量数据。然而专业修图数据非常稀缺。已有数据集规模有限且很难覆盖真实用户复杂多样的风格需求。为此研究团队构建了AetherRetouch-1M这是一个百万级多任务专业修图数据集覆盖 Auto-Retouch、Style-Retouch 与 Param-Retouch 三类场景。图 3AetherRetouch-1M 覆盖自动修图、风格修图与参数修图三类任务为多任务推理式修图提供大规模训练数据。对于自动修图团队采用了一个很有意思的“反向退化”思路先从高质量照片出发把它们视作“已修好”的结果再基于专家修图对中的色彩与光照变化反向生成更像原始照片的“未修图”版本。这样可以在保留真实内容结构的同时构造大量具有真实缺陷的训练样本。对于风格修图团队整理了 5,030 个在线风格预设覆盖 11 个大类和 193 个细分子类并借助视觉语言模型为图像匹配合适风格再生成多样化用户指令。对于参数修图团队围绕光照、全局色彩和特定色彩三类操作随机采样参数组合生成可用于精确控制训练的数据。更进一步数据集中还加入了结构化推理过程模型不仅学习“输入到输出”还学习为什么要这样调整包括画面内容分析、原图问题诊断以及对应的修图计划。图 4AetherRetouch-1M 的数据构建流程包括自动修图的反向退化、风格预设匹配与参数采样三条数据生成路径。四、技术核心小模型也能做专业推理修图VeraRetouch 基于 FastVLM-0.5B 构建。输入图像经过视觉编码器转成视觉 token用户指令经过文本编码器转成 prompt token随后多模态语言模型生成结构化推理内容。图 5VeraRetouch 整体框架。输入图像与用户指令经过轻量 VLM 生成结构化推理与控制 latent再由 Retouch Renderer 输出最终修图结果。为了让推理结果真正驱动像素调整研究团队设计了专门的 retouch tokens分别对应光照、全局色彩和特定色彩三个控制维度。模型最后一层 hidden state 会被送入 MLP Retouch Adaptor对齐到 Retouch Renderer 可理解的连续控制 latent再由 Retouch Renderer 输出最终修图结果。这套设计带来两个重要优势。首先它避免了模型推理时对外部修图软件的依赖。整个修图过程可以在模型内部完成并支持端到端像素级训练。其次它比大型生成式图像编辑模型更轻量。VeraRetouch 的总参数规模约为 0.63B远小于 Flux.1 Kontext、Qwen-Image-2509、MonetGPT、JarvisArt 等基线方法更接近移动端实际部署需求。为了进一步提升审美表现团队还提出了DAPO-AE后训练策略通过格式奖励、图像相似性奖励和审美奖励引导模型在保持指令一致性的同时生成更自然、更符合人类美学偏好的修图结果。五、实验结果质量、速度和可部署性同时提升实验显示VeraRetouch 在多个基准上取得了领先表现。在 FiveK-Bench 自动修图任务上VeraRetouch-DAPO-AE 达到26.85 dB PSNR相比 Flux.1 Kontext 提升 1.08 dB同时在 SSIM、LPIPS 和多项直方图一致性指标上表现突出。在 Aether-Bench 的风格修图任务中VeraRetouch 在 PSNR、SSIM、LPIPS、DISTS、GMSD 和 Texture Distortion 等指标上均取得最优或领先表现说明它不仅能跟随风格指令也能更好地保留原图结构与纹理细节。在参数修图任务中VeraRetouch 的 PSNR 达到 30.18 dB明显超过微调后的扩散模型基线展现出对精确修图参数的强执行能力。然而作者也在论文中提到由于构造训练数据时采用联合高斯分布进行参数采样模型在执行分布外参数时可能会出现一些不一致的情况。从三个任务视频可以看到VeraRetouch 的修图结果并不是简单改变整体滤镜强度而是会根据任务类型分别处理画面亮度、色彩倾向、局部颜色与风格氛围。对于自动修图它更强调自然观感对于风格修图它更关注语言描述与视觉风格的一致性对于参数修图它则强调调整结果的可控性和可复现性。速度方面VeraRetouch 在 H20 GPU 上处理一张 512p 图像仅需6.90 秒快于 Flux.1 Kontext 的 16.78 秒和 JarvisArt 的 14.31 秒。更重要的是模型在消费级设备上也具备部署潜力未经量化的版本在 MacBook Air M4 上约7.46 秒在 iPhone 16 Pro 上约13.56 秒即可完成自动修图。用户研究同样验证了这一点。38 名参与者的盲评结果显示VeraRetouch 在视觉美感、指令一致性和纹理保持方面都获得了最高评分。DAPO-AE 后训练也带来更明显的人类偏好提升在对比实验中获得61.62%的偏好率六、技术核心小模型也能做专业推理修图VeraRetouch 的意义不只是提出了一个新的修图模型而是把推理式修图从“模型生成参数、外部工具执行”的松散流程推进到一个轻量、可微分、可端到端优化的统一框架中。它让模型能够同时理解图像内容、用户意图和专业修图逻辑并通过可解释的光照、全局色彩、特定色彩控制 latent 完成像素级调整。配合百万级 AetherRetouch-1M 数据集VeraRetouch 展示了小模型在专业影像任务中的巨大潜力。这项工作有望服务于多种真实影像场景日常拍摄一键获得更自然、更耐看的照片效果社交分享根据语言描述快速生成符合内容氛围的风格图移动影像为端侧智能修图和手机影像后处理提供新的技术路径当然论文也指出当前模型在局部修图能力上仍有提升空间。未来若进一步引入像素级 mask 机制VeraRetouch 有望支持更灵活的区域化编辑例如只提亮人物面部、只调整天空色彩或只优化背景氛围。从“一键滤镜”到“推理式专业修图”照片后期正在从工具门槛走向自然交互。VeraRetouch 提供了一个值得关注的新方向让手机真正理解一张照片该怎么变好看。vivo BlueImage Lab蓝图实验室主要负责移动影像算法创新包括图像/视频处理、图像/视频交互、图像/视频增强、多模态理解大模型等方面的技术前沿探索。 致力于不断提升vivo移动影像的算法能力使用户能够拍摄出更加清晰、美观的照片和视频。同时积极探索增强现实、具身智能等新兴技术领域的应用努力为用户提供更加丰富和便捷的影像体验。 欢迎持续关注 vivo 影像技术获取前沿技术创新经验分享与热招岗位信息。
SIGGRAPH 2026 | VeraRetouch：多任务推理式照片修图框架
作者vivo BlueImage Lab摘要我们团队提出了 VeraRetouch一个轻量、全可微分、可移动端部署的多任务推理式照片修图框架。VeraRetouch 不仅能自动修图还能听懂用户想要的风格描述甚至能执行精确的参数式调整。通过将 0.6B 视觉语言模型作为“修图大脑”并设计全可微分的 Retouch Renderer 作为“修图执行器”VeraRetouch 能够把高层语言意图转化为低层像素级调整在保持图像结构和细节的同时完成专业化色调与色彩优化。对应的论文已被 SIGGRAPH 2026 接收SIGGRAPH全称ACM SIGGRAPH 202653 届国际计算机图形学与交互技术顶会。官网 SIGGRAPH 2026论文链接 https://arxiv.org/pdf/2604.27375项目主页 VeraRetouch Project Page代码链接 https://github.com/OpenVeraTeam/VeraRetouch在手机摄影已经成为日常表达方式的今天拍照只是第一步。真正让一张照片“好看起来”的往往是后期修图提亮暗部、压住高光、校准肤色、调出某种胶片感或者让整张照片更通透、更有氛围。但问题也随之而来专业修图软件门槛高普通用户很难准确知道该调曝光、对比度、色温还是局部色彩一键滤镜虽然方便却常常“味儿太重”要么破坏细节要么把所有照片修成同一种风格。近年来多模态大模型和图像生成技术开始进入修图场景但不少方法仍依赖 Lightroom、Photoshop 等外部工具模型只负责“下指令”真正的像素级调整并不在可微分框架内完成因此很难端到端优化且采用的多模态大模型参数量过大不利于移动端部署。我们团队联合浙江大学CADCG全国重点实验室、之江实验室与中国科学院大学联合发布了一项新的研究工作 VeraRetouch面向多任务推理式照片修图提出了一个轻量、全可微分、可移动端部署的修图框架。它不仅能自动修图还能听懂用户想要的风格描述甚至能执行精确的参数式调整。通过将 0.6B 视觉语言模型作为“修图大脑”并设计全可微分的 Retouch Renderer 作为“修图执行器”VeraRetouch 能够把高层语言意图转化为低层像素级调整在保持图像结构和细节的同时完成专业化色调与色彩优化。一、全新框架让大模型真正“会修图”而不只是会说怎么修传统自动修图方法大多像一个黑盒输入照片输出结果中间缺少明确的审美分析与调整逻辑。后来的推理式修图方法引入多模态大模型让模型能够分析照片问题、给出修图步骤再调用外部工具执行调整。这条路线更接近人类修图师的工作方式但也带来一个核心瓶颈外部修图软件通常不可微分。模型生成的参数能否真正带来更好的像素结果很难通过端到端训练直接优化。VeraRetouch 的关键创新在于它不再把专业修图工具当作外部黑盒而是用一个全可微分的 Retouch Renderer 替代传统软件中的调色与调光操作。这样一来模型不仅能“推理出该怎么修”还能通过图像监督直接学习“怎样修才真的好看”。研究团队将修图空间拆解为三个相对独立的控制维度Lighting曝光、阴影、高光等光照相关调整Global Color色温、色调、整体颜色倾向等全局色彩调整Specific Color针对红色、橙色、蓝色等特定颜色通道的精细调整这种拆解方式与专业修图流程高度一致也让模型的输出更可解释、更稳定。图 1Retouch Encoder 从参考图像对中提取光照、全局色彩和特定色彩控制 latentRetouch Renderer 再将这些控制信号映射到像素级修图结果。二、三种任务从“一键变好看”到“按你说的修”VeraRetouch 面向真实用户需求定义了三类修图任务。图 2组合VeraRetouch 支持自动修图、风格修图与参数修图三类典型工作流让用户可以快速从“这张图需要怎么修”理解到“模型正在做什么”。第一类是Auto-Retouch。用户只需要输入一张照片模型自动分析画面中的光影和色彩问题并生成修图方案。这对应最常见的“一键优化”场景但目标不是套滤镜而是在保留原图内容的基础上提升整体观感。第二类是Style-Retouch。用户可以用自然语言描述想要的风格比如“温暖秋日感”“冷调日系透明感”“暗调情绪胶片风”。模型会结合图像内容和文本意图推理出具体的调色方向并生成符合风格描述的结果。第三类是Param-Retouch。模型可以根据明确的参数指令进行修图例如对比度、曝光、色温、饱和度等。换句话说它既能“自己看图修”也能“听懂你想要什么风格”还能“按参数执行”。三、数据问题怎么解决构建百万级专业修图数据集高质量修图模型离不开高质量数据。然而专业修图数据非常稀缺。已有数据集规模有限且很难覆盖真实用户复杂多样的风格需求。为此研究团队构建了AetherRetouch-1M这是一个百万级多任务专业修图数据集覆盖 Auto-Retouch、Style-Retouch 与 Param-Retouch 三类场景。图 3AetherRetouch-1M 覆盖自动修图、风格修图与参数修图三类任务为多任务推理式修图提供大规模训练数据。对于自动修图团队采用了一个很有意思的“反向退化”思路先从高质量照片出发把它们视作“已修好”的结果再基于专家修图对中的色彩与光照变化反向生成更像原始照片的“未修图”版本。这样可以在保留真实内容结构的同时构造大量具有真实缺陷的训练样本。对于风格修图团队整理了 5,030 个在线风格预设覆盖 11 个大类和 193 个细分子类并借助视觉语言模型为图像匹配合适风格再生成多样化用户指令。对于参数修图团队围绕光照、全局色彩和特定色彩三类操作随机采样参数组合生成可用于精确控制训练的数据。更进一步数据集中还加入了结构化推理过程模型不仅学习“输入到输出”还学习为什么要这样调整包括画面内容分析、原图问题诊断以及对应的修图计划。图 4AetherRetouch-1M 的数据构建流程包括自动修图的反向退化、风格预设匹配与参数采样三条数据生成路径。四、技术核心小模型也能做专业推理修图VeraRetouch 基于 FastVLM-0.5B 构建。输入图像经过视觉编码器转成视觉 token用户指令经过文本编码器转成 prompt token随后多模态语言模型生成结构化推理内容。图 5VeraRetouch 整体框架。输入图像与用户指令经过轻量 VLM 生成结构化推理与控制 latent再由 Retouch Renderer 输出最终修图结果。为了让推理结果真正驱动像素调整研究团队设计了专门的 retouch tokens分别对应光照、全局色彩和特定色彩三个控制维度。模型最后一层 hidden state 会被送入 MLP Retouch Adaptor对齐到 Retouch Renderer 可理解的连续控制 latent再由 Retouch Renderer 输出最终修图结果。这套设计带来两个重要优势。首先它避免了模型推理时对外部修图软件的依赖。整个修图过程可以在模型内部完成并支持端到端像素级训练。其次它比大型生成式图像编辑模型更轻量。VeraRetouch 的总参数规模约为 0.63B远小于 Flux.1 Kontext、Qwen-Image-2509、MonetGPT、JarvisArt 等基线方法更接近移动端实际部署需求。为了进一步提升审美表现团队还提出了DAPO-AE后训练策略通过格式奖励、图像相似性奖励和审美奖励引导模型在保持指令一致性的同时生成更自然、更符合人类美学偏好的修图结果。五、实验结果质量、速度和可部署性同时提升实验显示VeraRetouch 在多个基准上取得了领先表现。在 FiveK-Bench 自动修图任务上VeraRetouch-DAPO-AE 达到26.85 dB PSNR相比 Flux.1 Kontext 提升 1.08 dB同时在 SSIM、LPIPS 和多项直方图一致性指标上表现突出。在 Aether-Bench 的风格修图任务中VeraRetouch 在 PSNR、SSIM、LPIPS、DISTS、GMSD 和 Texture Distortion 等指标上均取得最优或领先表现说明它不仅能跟随风格指令也能更好地保留原图结构与纹理细节。在参数修图任务中VeraRetouch 的 PSNR 达到 30.18 dB明显超过微调后的扩散模型基线展现出对精确修图参数的强执行能力。然而作者也在论文中提到由于构造训练数据时采用联合高斯分布进行参数采样模型在执行分布外参数时可能会出现一些不一致的情况。从三个任务视频可以看到VeraRetouch 的修图结果并不是简单改变整体滤镜强度而是会根据任务类型分别处理画面亮度、色彩倾向、局部颜色与风格氛围。对于自动修图它更强调自然观感对于风格修图它更关注语言描述与视觉风格的一致性对于参数修图它则强调调整结果的可控性和可复现性。速度方面VeraRetouch 在 H20 GPU 上处理一张 512p 图像仅需6.90 秒快于 Flux.1 Kontext 的 16.78 秒和 JarvisArt 的 14.31 秒。更重要的是模型在消费级设备上也具备部署潜力未经量化的版本在 MacBook Air M4 上约7.46 秒在 iPhone 16 Pro 上约13.56 秒即可完成自动修图。用户研究同样验证了这一点。38 名参与者的盲评结果显示VeraRetouch 在视觉美感、指令一致性和纹理保持方面都获得了最高评分。DAPO-AE 后训练也带来更明显的人类偏好提升在对比实验中获得61.62%的偏好率六、技术核心小模型也能做专业推理修图VeraRetouch 的意义不只是提出了一个新的修图模型而是把推理式修图从“模型生成参数、外部工具执行”的松散流程推进到一个轻量、可微分、可端到端优化的统一框架中。它让模型能够同时理解图像内容、用户意图和专业修图逻辑并通过可解释的光照、全局色彩、特定色彩控制 latent 完成像素级调整。配合百万级 AetherRetouch-1M 数据集VeraRetouch 展示了小模型在专业影像任务中的巨大潜力。这项工作有望服务于多种真实影像场景日常拍摄一键获得更自然、更耐看的照片效果社交分享根据语言描述快速生成符合内容氛围的风格图移动影像为端侧智能修图和手机影像后处理提供新的技术路径当然论文也指出当前模型在局部修图能力上仍有提升空间。未来若进一步引入像素级 mask 机制VeraRetouch 有望支持更灵活的区域化编辑例如只提亮人物面部、只调整天空色彩或只优化背景氛围。从“一键滤镜”到“推理式专业修图”照片后期正在从工具门槛走向自然交互。VeraRetouch 提供了一个值得关注的新方向让手机真正理解一张照片该怎么变好看。vivo BlueImage Lab蓝图实验室主要负责移动影像算法创新包括图像/视频处理、图像/视频交互、图像/视频增强、多模态理解大模型等方面的技术前沿探索。 致力于不断提升vivo移动影像的算法能力使用户能够拍摄出更加清晰、美观的照片和视频。同时积极探索增强现实、具身智能等新兴技术领域的应用努力为用户提供更加丰富和便捷的影像体验。 欢迎持续关注 vivo 影像技术获取前沿技术创新经验分享与热招岗位信息。
