【论文解读】DeltaV：用“视觉增量“重新定义多模态推理——从全图生成到状态演化的范式跃迁

论文：DeltaV: Thinking with Visual State Updates in Unified Large Multimodal Models作者：Pengjie Wang, Linger Deng 等（华中科技大学 小米 MiLM Plus）项目主页：https://github.com/Pengjie-W/DeltaV一、为什么需要这篇论文？当前的多模态大语言模型（MLLMs）在通用视觉-语言任务上已展现出强大能力，但面对需要多步视觉推理的复杂任务——如具身智能规划、科学问题求解、空间推理——仍然力不从心。为了突破这一瓶颈，研究者们提出了交错式多模态推理（Interleaved Multimodal Reasoning）的思路：在文本推理的过程中，穿插生成中间视觉状态（如棋盘局面变化、几何作图步骤、迷宫路径标记），形成"思考-画图-再思考"的推理链。统一大型多模态模型（ULMMs）为这种推理范式提供了端到端的框架——它在一个模型内同时完成语言推理和视觉生成。然而，现有ULMMs存在一个根本性的效率瓶颈：每一步中间视觉状态都被当作一张完整图像来生成。这带来了两个严重问题：视觉token冗余：以384×384分辨率为例，Chen等人的模型需要576个token生成一张图；在1024×1024分辨率下，Han等人的模型甚至超过10,000个token。而一步文本推理通常只需5