这项由德国图宾根大学图宾根AI中心联合韩国科学技术院KAISTAI学院开展的研究发表于2026年第43届国际机器学习大会ICML收录于PMLR 306卷论文预印本编号为arXiv:2605.31503有兴趣深入查阅的读者可通过该编号检索到完整原文。**当AI看不懂红苹果旁边放着一个蓝色盘子**考虑这样一个场景一张桌子上摆着一只红色苹果和一个蓝色盘子。任何小学生看到这张照片后都能毫不费力地告诉你红色的那个是苹果蓝色的那个是盘子。但如果把这张照片交给当下最先进的图文匹配AI——比如广为人知的CLIP模型——来做判断它很可能只能告诉你照片里有红色有蓝色有苹果有盘子却说不清到底哪个颜色属于哪个物体。这个看似简单的能力在认知科学里有个专门的名字叫做概念绑定concept binding。所谓绑定就是把红色和苹果这两个独立的属性在脑子里牢牢地捆绑成红苹果这个整体概念而不是把它们像散落的拼图碎片那样随意地堆在一起。人类从很小的时候就天然具备这种能力但对今天的AI来说这却是一个出乎意料地棘手的挑战。图宾根AI中心的研究团队发现了一个有趣的矛盾CLIP模型在跨模态也就是图片与文字之间的匹配任务中表现得像个词袋子——它知道场景里存在哪些颜色和形状却无法告诉你它们的归属关系但如果只在图片或只在文字这单一渠道里用特殊的探测工具去挖掘却能找到隐藏的绑定信息。这种表面失败与内在存在之间的张力驱使研究团队深入挖掘AI内部的概念组织方式最终找到了问题的根源并且证明了这个问题是可以被解决的。**一、用乐高积木理解AI的概念表示方式**要理解这项研究需要先搞清楚AI是怎么记住一张图片的。现代图像理解模型不会像人一样形成清晰的视觉印象而是把图片转换成一串数字——专业上叫做嵌入向量embedding。这串数字就像是图片的数字指纹包含了模型认为这张图片的全部特征。研究团队的第一个重要发现是这串数字具有特别整齐的加法结构。用乐高积木来理解如果一张图片里有两个物体那么这张图片的整体数字指纹大致就等于两个独立物体的数字指纹相加。红苹果加上蓝盘子得到的结果就差不多等于红苹果的指纹加上蓝盘子的指纹。为了验证这一点研究人员使用了多个不同的数据集包括3D渲染的场景CLEVR数据集、2D图形场景CLEVR-2D以及更接近真实照片风格的数据集PUG:SPARE。他们把两个物体的单独指纹加在一起然后看看这个加法结果能在多大程度上还原出真实的双物体场景指纹。结果相当令人信服对于CLIP的文字编码器这种加法重建能解释约90%到92%的指纹变化用统计学里的R?来衡量对于图像编码器这个数字在75%到86%之间。换句话说知道每个零件长什么样就基本上能拼出整体的样子。更令人惊喜的是这种加法结构还可以用来编辑图片的数字指纹。如果一张图片是红苹果蓝盘子研究人员可以通过减去红苹果的指纹、加上绿苹果的指纹得到一个绿苹果蓝盘子的新指纹而且这个新指纹在检索和识别测试中的表现与真正的绿苹果蓝盘子场景相符合。在CLEVR数据集上这种编辑方式的检索准确率高达97%到100%说明加法结构并不是一种近似噪音而是具有真实可操作性的内在组织方式。这一加法结构还可以进一步向下延伸。不仅场景可以分解为物体每个物体的指纹也大致等于它各个属性颜色、形状等指纹的相加。比如红苹果的指纹大约等于红色的指纹加上苹果的指纹。当然大约等于意味着不是完全相等——单独概念的叠加能解释大约71%到84%的物体指纹变化而用物体整体指纹来解释会比单纯叠加概念再多解释约10%的变化。这多出来的10%正是绑定信息存在的地方。与此同时研究团队还做了一个对照实验他们把场景指纹里的物体成分或概念成分减掉然后看看AI还能不能识别出相关的信息。结果发现把红色和苹果的概念指纹从场景指纹里减掉后模型几乎立刻忘记了这些颜色和形状识别准确率从接近100%跌至5%左右而把整个红苹果物体的指纹减掉后物体和概念的识别准确率则双双崩溃。这个实验用非常直接的方式证明物体层面的信息和概念层面的信息在AI的数字指纹里是以叠加的方式共存的移除某个积木块就会导致对应信息的消失。**二、发现指纹结构并不能解释绑定失败的谜题**既然物体的信息在AI内部确实存在为什么AI在图文匹配时还是无法正确绑定概念呢这就进入了这项研究最核心的侦探推理部分。研究团队引入了一个叫做绑定函数binding function的概念用来描述从这个场景里有哪些颜色和形状到对应的数字指纹是什么之间的映射规则。可以把绑定函数想成一个食谱输入食材颜色和形状的描述输出最终菜肴数字指纹。判断一个食谱是好食谱还是坏食谱有一个简单的标准好食谱应该可以举一反三教你做了番茄炒鸡蛋你就能类比着做出番茄炒豆腐——哪怕你从没做过这道菜。坏食谱则需要为每道菜单独记忆做过番茄炒鸡蛋不代表你会做番茄炒豆腐。研究团队用一种聪明的方式来测量CLIP的绑定函数是好食谱还是坏食谱他们训练了一个简单的小程序专业上叫做单隐层MLP一种小型神经网络让它学习给定颜色和形状的描述预测对应的CLIP数字指纹这个规律。关键在于这个小程序只能看到部分物体组合然后必须对完全没见过的新组合做出预测。如果预测准确说明绑定函数简单规律强如果预测失败说明绑定函数复杂且依赖死记硬背。结果相当令人惊讶。对于场景里有哪些颜色概念识别这个任务小程序哪怕只用30%的数据训练也能对新组合达到80%以上的准确率但对于这是哪个具体物体物体识别即绑定这个任务即使把小程序的容量扩大到极限4096个神经元对没见过的物体组合的预测准确率也始终在20%以下远低于概念识别。而且这个结论不依赖于小程序的具体形式——换成随机森林或梯度提升树XGBoost也得到一样的结果物体识别准确率始终接近零而概念识别则保持高水平。这说明CLIP的绑定函数是一种高复杂度的映射——它对于每种物体组合都有一套独特的、彼此不相通的规则无法从已知组合推断到未知组合。就像一个厨师知道每道菜的精确配方但这些配方之间没有任何共通的逻辑学了一道菜对下一道菜没有任何帮助。这一发现也解释了为什么CLIP能在单一模态单独的图片侧或单独的文字侧里通过特殊探测工具找到绑定信息——因为物体成分确实存在于指纹中——但图文两侧却无法对齐图片编码器和文字编码器各自用了一套死记硬背的方式来表示物体对于两者都没见过的新组合各自预测出来的指纹方向完全不同自然无法匹配。**三、从头训练的模型能学会举一反三的绑定规则吗**找到了问题所在研究团队随即追问这种绑定失败是AI的根本局限还是CLIP这个特定模型的训练方式导致的问题换句话说绑定这件事原则上AI能学会吗为了回答这个问题团队设计了一套受控实验环境从头开始训练新的模型。他们构建了一个合成的双物体场景世界每个物体由若干个概念如颜色和形状的组合决定场景则由两个物体组合而成。他们可以精确控制训练时允许模型见到的物体种类比例称为训练覆盖率然后测试模型对完全没有出现在训练集里的新物体组合的识别能力。实验覆盖了多种规模设置物体空间从400种2个概念每个概念20个取值到12.5万种3个概念每个概念50个取值不等。两个独立的Transformer编码器一个处理场景一个处理查询使用类似CLIP的对比学习目标从头训练。实验结果揭示了两个清晰的规律。第一个规律是概念识别比物体识别更容易泛化。即使只见过很少的物体模型就能准确判断场景里包含了哪些颜色或形状但要让模型准确识别具体是哪个物体颜色和形状的特定组合需要更多的训练覆盖。第二个规律更令人振奋绑定泛化确实会出现而且随着物体空间规模的增大需要的相对覆盖率反而在降低。具体来说当物体空间只有400种时需要见过约50%的物体才能对新物体达到高准确率而当物体空间扩大到2500种时只需要约30%的覆盖就够了在最大的12.5万种物体空间里训练覆盖率从30%提升到40%的一小步会触发一个从接近随机水平到接近完美准确率的急剧跃迁。这说明只要训练数据在物体空间里有足够的覆盖多样性模型是可以自发学会举一反三、正确绑定从未见过的物体组合的。这与CLIP形成了鲜明对比——CLIP即使用尽了模拟的训练数据物体识别对新组合的准确率也始终很低。**四、绑定成功的秘密乘法才是关键**既然有些模型能泛化绑定有些不能那两者之间的根本差异是什么研究团队深入分析了能成功泛化的模型发现了一个一以贯之的结构特征这些模型在内部实现的是乘法式的概念组合而不是简单的加法式叠加。用颜色和形状来打比方加法式的绑定就像是把红色的味道和苹果的味道分别放进碗里最终得到的只是两种味道的混合而乘法式的绑定则是把两种味道融合成一种全新的、独特的味道这种新味道只属于红苹果无法从蓝苹果或红梨中推断出来。更准确地说研究团队提出了三种不同的数字指纹构建方式并测试它们的绑定能力。第一种是纯加法Additive场景的指纹 各个概念指纹的总和这就是典型的词袋子模型能识别概念但无法绑定。第二种加入了物体内部的乘法Per-obj. products在加法基础上还为每个物体额外计算其概念之间的乘积得到一个该物体独有的乘法签名。第三种是全局乘法Global product不仅物体内部有乘法跨物体之间也有乘积形成整个场景的全局交叉信息。测试结果显示三种方法对概念识别都表现良好但只有引入乘法交互的后两种方法能实现绑定泛化而且全局乘法的表现最为突出尤其在物体空间规模较大时优势更明显。为了确认乘法结构与泛化能力的关系不只是个案研究团队训练了约500个不同超参数配置的模型对每个模型都同时测量两件事一是它对从未见过的物体组合的物体识别准确率泛化能力二是全局乘法探测器能在多大程度上逼近它的指纹结构乘法结构的吻合度。结果呈现出清晰的正相关泛化能力强的模型恰恰是内部结构最符合乘法形式的模型两者高度吻合。与此形成对照的是当把同样的全局乘法探测器应用于CLIP和DINOv2的指纹时探测器能找回概念识别信息但物体识别准确率始终接近零再次印证了这两个预训练模型缺乏乘法式绑定结构的结论。**五、在真实像素上训练的视觉模型是否一样**到这里可能有一个自然的疑问上述受控实验用的是人工合成的符号序列作为输入这和真实图片差距很大。于是研究团队进一步做了一组验证实验把场景编码器替换成接收真实像素输入的卷积神经网络前端并在像素图像场景上重复了同样的分析。为了让实验更有挑战性他们设计了三个难度级别干净的无噪声不重叠场景、添加了随机噪点但不重叠的场景、以及既有噪点又有物体互相遮挡的场景。每个物体由两个概念决定方块内部颜色和边框颜色各有50个取值组合出多达650万种不同的物体。结果与符号输入的实验高度一致成功泛化的视觉模型其绑定函数同样可以被小型乘法探测器有效逼近即使在噪声和遮挡条件下也不例外。这说明乘法式绑定结构不是符号化输入的特殊产物而是一种更普遍的、与输入形式无关的内在规律。**六、把所有线索拼在一起绑定失败的全貌**至此整个故事的完整面貌已经清晰。CLIP的绑定失败不是因为它完全不知道场景里有哪些物体——从单模态的探测实验可以看出物体层面的信息确实存在于指纹中以加法叠加的方式隐藏其中。失败的根本原因在于CLIP学到的从概念到物体的映射规则太过复杂且缺乏规律性对于每种物体组合都像是单独死记的无法在图片编码器和文字编码器之间形成一套共同遵循的简单规则。一旦碰到两者都没见过的新物体组合各自的预测方向就会出现偏差无法对齐。相比之下从头训练并在足够多样的物体组合上学习的模型会自发形成低复杂度的乘法式绑定结构。这种结构简单、规律强图片侧和文字侧能收敛到同一套规则自然就能对从未见过的物体组合做出一致的指纹预测实现跨模态绑定。这个发现对于理解和改进现有AI系统有着直接的启示。问题不是绑定和概念识别在原理上互相矛盾而是需要在足够丰富的物体组合数据上进行训练让模型自发发现乘法式的简单规则。当物体空间足够大时相对较少的训练覆盖率就能触发绑定泛化的涌现这对于面向真实世界物体组合空间极其巨大的AI训练是一个积极的信号。当然研究团队也坦承了一些局限性。目前所有实验都基于合成数据集因为真实世界里没有现成的、完整覆盖物体组合空间的数据集来支撑这类分析。此外研究中衡量复杂度的方式依赖于具体的探测模型而理论意义上绝对的计算复杂度是无法精确计算的。但这些局限性并不影响核心结论的有效性只是指出了未来进一步验证的方向。归根结底这项研究告诉我们当下AI视觉系统在认出颜色和认出颜色配了哪个形状之间的巨大鸿沟并非无法逾越的天然障碍而是训练方式和数据覆盖度的问题。只要模型有机会接触足够多样的物体组合它就能自发地学会一套简洁、可推广的绑定规则从根本上解决概念归属的混乱。这为未来建造真正理解多物体场景的AI系统提供了明确的方向。对于普通人来说这意味着什么下次你看到AI在图片搜索中闹出红色的那个和蓝色的那个分不清归属的笑话时你知道问题出在哪里了也知道修路的方向已经有了。当AI有一天能像小孩子一样自然地说出那只戴红帽子的是小猫那只戴蓝帽子的是小狗时背后会有一套乘法式的、简洁的概念绑定规则在默默工作。---**QA**Q1CLIP模型为什么认得颜色和形状却分不清哪个颜色属于哪个物体ACLIP的内部编码方式更像是把所有属性混在一起记知道场景里有红色有圆形但没有一套足够简单、规律性强的规则来把红色和圆形捆绑成红色圆形。研究发现这是因为CLIP学到的概念到物体的映射太复杂对每种组合各自为政不能举一反三图像和文字两侧因此无法对齐。Q2绑定泛化能力的训练数据需要多少才够A研究发现这与物体的组合空间大小有关。当可能的物体种类只有400种时需要见过约一半才能泛化但当物体种类扩展到2500种甚至12.5万种时只需覆盖约30%甚至更少就能触发绑定泛化的突然涌现。物体空间越大需要的相对覆盖比例反而越低这对真实世界的大规模训练是个积极信号。Q3乘法式绑定结构和加法式绑定结构的区别是什么A加法式结构就是把各个属性的数字指纹直接相加能告诉你场景里有什么颜色和形状但不能区分红苹果配蓝盘子和蓝苹果配红盘子。乘法式结构则通过属性之间的交叉相乘为每种特定组合生成一个独一无二的签名从而能够区分不同的绑定关系实现真正的概念归属识别。
图宾根AI中心研究揭示图像理解的“连连看“难题
这项由德国图宾根大学图宾根AI中心联合韩国科学技术院KAISTAI学院开展的研究发表于2026年第43届国际机器学习大会ICML收录于PMLR 306卷论文预印本编号为arXiv:2605.31503有兴趣深入查阅的读者可通过该编号检索到完整原文。**当AI看不懂红苹果旁边放着一个蓝色盘子**考虑这样一个场景一张桌子上摆着一只红色苹果和一个蓝色盘子。任何小学生看到这张照片后都能毫不费力地告诉你红色的那个是苹果蓝色的那个是盘子。但如果把这张照片交给当下最先进的图文匹配AI——比如广为人知的CLIP模型——来做判断它很可能只能告诉你照片里有红色有蓝色有苹果有盘子却说不清到底哪个颜色属于哪个物体。这个看似简单的能力在认知科学里有个专门的名字叫做概念绑定concept binding。所谓绑定就是把红色和苹果这两个独立的属性在脑子里牢牢地捆绑成红苹果这个整体概念而不是把它们像散落的拼图碎片那样随意地堆在一起。人类从很小的时候就天然具备这种能力但对今天的AI来说这却是一个出乎意料地棘手的挑战。图宾根AI中心的研究团队发现了一个有趣的矛盾CLIP模型在跨模态也就是图片与文字之间的匹配任务中表现得像个词袋子——它知道场景里存在哪些颜色和形状却无法告诉你它们的归属关系但如果只在图片或只在文字这单一渠道里用特殊的探测工具去挖掘却能找到隐藏的绑定信息。这种表面失败与内在存在之间的张力驱使研究团队深入挖掘AI内部的概念组织方式最终找到了问题的根源并且证明了这个问题是可以被解决的。**一、用乐高积木理解AI的概念表示方式**要理解这项研究需要先搞清楚AI是怎么记住一张图片的。现代图像理解模型不会像人一样形成清晰的视觉印象而是把图片转换成一串数字——专业上叫做嵌入向量embedding。这串数字就像是图片的数字指纹包含了模型认为这张图片的全部特征。研究团队的第一个重要发现是这串数字具有特别整齐的加法结构。用乐高积木来理解如果一张图片里有两个物体那么这张图片的整体数字指纹大致就等于两个独立物体的数字指纹相加。红苹果加上蓝盘子得到的结果就差不多等于红苹果的指纹加上蓝盘子的指纹。为了验证这一点研究人员使用了多个不同的数据集包括3D渲染的场景CLEVR数据集、2D图形场景CLEVR-2D以及更接近真实照片风格的数据集PUG:SPARE。他们把两个物体的单独指纹加在一起然后看看这个加法结果能在多大程度上还原出真实的双物体场景指纹。结果相当令人信服对于CLIP的文字编码器这种加法重建能解释约90%到92%的指纹变化用统计学里的R?来衡量对于图像编码器这个数字在75%到86%之间。换句话说知道每个零件长什么样就基本上能拼出整体的样子。更令人惊喜的是这种加法结构还可以用来编辑图片的数字指纹。如果一张图片是红苹果蓝盘子研究人员可以通过减去红苹果的指纹、加上绿苹果的指纹得到一个绿苹果蓝盘子的新指纹而且这个新指纹在检索和识别测试中的表现与真正的绿苹果蓝盘子场景相符合。在CLEVR数据集上这种编辑方式的检索准确率高达97%到100%说明加法结构并不是一种近似噪音而是具有真实可操作性的内在组织方式。这一加法结构还可以进一步向下延伸。不仅场景可以分解为物体每个物体的指纹也大致等于它各个属性颜色、形状等指纹的相加。比如红苹果的指纹大约等于红色的指纹加上苹果的指纹。当然大约等于意味着不是完全相等——单独概念的叠加能解释大约71%到84%的物体指纹变化而用物体整体指纹来解释会比单纯叠加概念再多解释约10%的变化。这多出来的10%正是绑定信息存在的地方。与此同时研究团队还做了一个对照实验他们把场景指纹里的物体成分或概念成分减掉然后看看AI还能不能识别出相关的信息。结果发现把红色和苹果的概念指纹从场景指纹里减掉后模型几乎立刻忘记了这些颜色和形状识别准确率从接近100%跌至5%左右而把整个红苹果物体的指纹减掉后物体和概念的识别准确率则双双崩溃。这个实验用非常直接的方式证明物体层面的信息和概念层面的信息在AI的数字指纹里是以叠加的方式共存的移除某个积木块就会导致对应信息的消失。**二、发现指纹结构并不能解释绑定失败的谜题**既然物体的信息在AI内部确实存在为什么AI在图文匹配时还是无法正确绑定概念呢这就进入了这项研究最核心的侦探推理部分。研究团队引入了一个叫做绑定函数binding function的概念用来描述从这个场景里有哪些颜色和形状到对应的数字指纹是什么之间的映射规则。可以把绑定函数想成一个食谱输入食材颜色和形状的描述输出最终菜肴数字指纹。判断一个食谱是好食谱还是坏食谱有一个简单的标准好食谱应该可以举一反三教你做了番茄炒鸡蛋你就能类比着做出番茄炒豆腐——哪怕你从没做过这道菜。坏食谱则需要为每道菜单独记忆做过番茄炒鸡蛋不代表你会做番茄炒豆腐。研究团队用一种聪明的方式来测量CLIP的绑定函数是好食谱还是坏食谱他们训练了一个简单的小程序专业上叫做单隐层MLP一种小型神经网络让它学习给定颜色和形状的描述预测对应的CLIP数字指纹这个规律。关键在于这个小程序只能看到部分物体组合然后必须对完全没见过的新组合做出预测。如果预测准确说明绑定函数简单规律强如果预测失败说明绑定函数复杂且依赖死记硬背。结果相当令人惊讶。对于场景里有哪些颜色概念识别这个任务小程序哪怕只用30%的数据训练也能对新组合达到80%以上的准确率但对于这是哪个具体物体物体识别即绑定这个任务即使把小程序的容量扩大到极限4096个神经元对没见过的物体组合的预测准确率也始终在20%以下远低于概念识别。而且这个结论不依赖于小程序的具体形式——换成随机森林或梯度提升树XGBoost也得到一样的结果物体识别准确率始终接近零而概念识别则保持高水平。这说明CLIP的绑定函数是一种高复杂度的映射——它对于每种物体组合都有一套独特的、彼此不相通的规则无法从已知组合推断到未知组合。就像一个厨师知道每道菜的精确配方但这些配方之间没有任何共通的逻辑学了一道菜对下一道菜没有任何帮助。这一发现也解释了为什么CLIP能在单一模态单独的图片侧或单独的文字侧里通过特殊探测工具找到绑定信息——因为物体成分确实存在于指纹中——但图文两侧却无法对齐图片编码器和文字编码器各自用了一套死记硬背的方式来表示物体对于两者都没见过的新组合各自预测出来的指纹方向完全不同自然无法匹配。**三、从头训练的模型能学会举一反三的绑定规则吗**找到了问题所在研究团队随即追问这种绑定失败是AI的根本局限还是CLIP这个特定模型的训练方式导致的问题换句话说绑定这件事原则上AI能学会吗为了回答这个问题团队设计了一套受控实验环境从头开始训练新的模型。他们构建了一个合成的双物体场景世界每个物体由若干个概念如颜色和形状的组合决定场景则由两个物体组合而成。他们可以精确控制训练时允许模型见到的物体种类比例称为训练覆盖率然后测试模型对完全没有出现在训练集里的新物体组合的识别能力。实验覆盖了多种规模设置物体空间从400种2个概念每个概念20个取值到12.5万种3个概念每个概念50个取值不等。两个独立的Transformer编码器一个处理场景一个处理查询使用类似CLIP的对比学习目标从头训练。实验结果揭示了两个清晰的规律。第一个规律是概念识别比物体识别更容易泛化。即使只见过很少的物体模型就能准确判断场景里包含了哪些颜色或形状但要让模型准确识别具体是哪个物体颜色和形状的特定组合需要更多的训练覆盖。第二个规律更令人振奋绑定泛化确实会出现而且随着物体空间规模的增大需要的相对覆盖率反而在降低。具体来说当物体空间只有400种时需要见过约50%的物体才能对新物体达到高准确率而当物体空间扩大到2500种时只需要约30%的覆盖就够了在最大的12.5万种物体空间里训练覆盖率从30%提升到40%的一小步会触发一个从接近随机水平到接近完美准确率的急剧跃迁。这说明只要训练数据在物体空间里有足够的覆盖多样性模型是可以自发学会举一反三、正确绑定从未见过的物体组合的。这与CLIP形成了鲜明对比——CLIP即使用尽了模拟的训练数据物体识别对新组合的准确率也始终很低。**四、绑定成功的秘密乘法才是关键**既然有些模型能泛化绑定有些不能那两者之间的根本差异是什么研究团队深入分析了能成功泛化的模型发现了一个一以贯之的结构特征这些模型在内部实现的是乘法式的概念组合而不是简单的加法式叠加。用颜色和形状来打比方加法式的绑定就像是把红色的味道和苹果的味道分别放进碗里最终得到的只是两种味道的混合而乘法式的绑定则是把两种味道融合成一种全新的、独特的味道这种新味道只属于红苹果无法从蓝苹果或红梨中推断出来。更准确地说研究团队提出了三种不同的数字指纹构建方式并测试它们的绑定能力。第一种是纯加法Additive场景的指纹 各个概念指纹的总和这就是典型的词袋子模型能识别概念但无法绑定。第二种加入了物体内部的乘法Per-obj. products在加法基础上还为每个物体额外计算其概念之间的乘积得到一个该物体独有的乘法签名。第三种是全局乘法Global product不仅物体内部有乘法跨物体之间也有乘积形成整个场景的全局交叉信息。测试结果显示三种方法对概念识别都表现良好但只有引入乘法交互的后两种方法能实现绑定泛化而且全局乘法的表现最为突出尤其在物体空间规模较大时优势更明显。为了确认乘法结构与泛化能力的关系不只是个案研究团队训练了约500个不同超参数配置的模型对每个模型都同时测量两件事一是它对从未见过的物体组合的物体识别准确率泛化能力二是全局乘法探测器能在多大程度上逼近它的指纹结构乘法结构的吻合度。结果呈现出清晰的正相关泛化能力强的模型恰恰是内部结构最符合乘法形式的模型两者高度吻合。与此形成对照的是当把同样的全局乘法探测器应用于CLIP和DINOv2的指纹时探测器能找回概念识别信息但物体识别准确率始终接近零再次印证了这两个预训练模型缺乏乘法式绑定结构的结论。**五、在真实像素上训练的视觉模型是否一样**到这里可能有一个自然的疑问上述受控实验用的是人工合成的符号序列作为输入这和真实图片差距很大。于是研究团队进一步做了一组验证实验把场景编码器替换成接收真实像素输入的卷积神经网络前端并在像素图像场景上重复了同样的分析。为了让实验更有挑战性他们设计了三个难度级别干净的无噪声不重叠场景、添加了随机噪点但不重叠的场景、以及既有噪点又有物体互相遮挡的场景。每个物体由两个概念决定方块内部颜色和边框颜色各有50个取值组合出多达650万种不同的物体。结果与符号输入的实验高度一致成功泛化的视觉模型其绑定函数同样可以被小型乘法探测器有效逼近即使在噪声和遮挡条件下也不例外。这说明乘法式绑定结构不是符号化输入的特殊产物而是一种更普遍的、与输入形式无关的内在规律。**六、把所有线索拼在一起绑定失败的全貌**至此整个故事的完整面貌已经清晰。CLIP的绑定失败不是因为它完全不知道场景里有哪些物体——从单模态的探测实验可以看出物体层面的信息确实存在于指纹中以加法叠加的方式隐藏其中。失败的根本原因在于CLIP学到的从概念到物体的映射规则太过复杂且缺乏规律性对于每种物体组合都像是单独死记的无法在图片编码器和文字编码器之间形成一套共同遵循的简单规则。一旦碰到两者都没见过的新物体组合各自的预测方向就会出现偏差无法对齐。相比之下从头训练并在足够多样的物体组合上学习的模型会自发形成低复杂度的乘法式绑定结构。这种结构简单、规律强图片侧和文字侧能收敛到同一套规则自然就能对从未见过的物体组合做出一致的指纹预测实现跨模态绑定。这个发现对于理解和改进现有AI系统有着直接的启示。问题不是绑定和概念识别在原理上互相矛盾而是需要在足够丰富的物体组合数据上进行训练让模型自发发现乘法式的简单规则。当物体空间足够大时相对较少的训练覆盖率就能触发绑定泛化的涌现这对于面向真实世界物体组合空间极其巨大的AI训练是一个积极的信号。当然研究团队也坦承了一些局限性。目前所有实验都基于合成数据集因为真实世界里没有现成的、完整覆盖物体组合空间的数据集来支撑这类分析。此外研究中衡量复杂度的方式依赖于具体的探测模型而理论意义上绝对的计算复杂度是无法精确计算的。但这些局限性并不影响核心结论的有效性只是指出了未来进一步验证的方向。归根结底这项研究告诉我们当下AI视觉系统在认出颜色和认出颜色配了哪个形状之间的巨大鸿沟并非无法逾越的天然障碍而是训练方式和数据覆盖度的问题。只要模型有机会接触足够多样的物体组合它就能自发地学会一套简洁、可推广的绑定规则从根本上解决概念归属的混乱。这为未来建造真正理解多物体场景的AI系统提供了明确的方向。对于普通人来说这意味着什么下次你看到AI在图片搜索中闹出红色的那个和蓝色的那个分不清归属的笑话时你知道问题出在哪里了也知道修路的方向已经有了。当AI有一天能像小孩子一样自然地说出那只戴红帽子的是小猫那只戴蓝帽子的是小狗时背后会有一套乘法式的、简洁的概念绑定规则在默默工作。---**QA**Q1CLIP模型为什么认得颜色和形状却分不清哪个颜色属于哪个物体ACLIP的内部编码方式更像是把所有属性混在一起记知道场景里有红色有圆形但没有一套足够简单、规律性强的规则来把红色和圆形捆绑成红色圆形。研究发现这是因为CLIP学到的概念到物体的映射太复杂对每种组合各自为政不能举一反三图像和文字两侧因此无法对齐。Q2绑定泛化能力的训练数据需要多少才够A研究发现这与物体的组合空间大小有关。当可能的物体种类只有400种时需要见过约一半才能泛化但当物体种类扩展到2500种甚至12.5万种时只需覆盖约30%甚至更少就能触发绑定泛化的突然涌现。物体空间越大需要的相对覆盖比例反而越低这对真实世界的大规模训练是个积极信号。Q3乘法式绑定结构和加法式绑定结构的区别是什么A加法式结构就是把各个属性的数字指纹直接相加能告诉你场景里有什么颜色和形状但不能区分红苹果配蓝盘子和蓝苹果配红盘子。乘法式结构则通过属性之间的交叉相乘为每种特定组合生成一个独一无二的签名从而能够区分不同的绑定关系实现真正的概念归属识别。
