多模态不是贴图——智谱的视觉理解之路

大模型卷完文本卷多模态这是2023年以来的主旋律。但说实话市面上相当一部分多模态模型本质上就是个图片描述器加了个文本模型离真正的视觉理解差得远。智谱在视觉理解上的布局其实比很多人知道的要早。他们的GLM-4V系列从技术路线到产品思路都有一些不太一样的地方。先说一个很多人忽视的问题中文场景的视觉理解。你拿一张中国街道的照片给国外的多模态模型看它能告诉你这是街道、有车有人但它不认识禁止鸣笛的中文标志不理解路边摊的扫码支付是什么意思看不懂店铺招牌上的促销信息。这不是模型的问题是训练数据里中文视觉场景太少。智谱在这个维度上做了大量的工作。他们的模型专门针对中文场景的图文数据做了增强训练包括中文的招牌、文档、票据、路标等等。这听起来像是很细节的事情但实际应用中的价值巨大。我举个真实的例子。一个做财务自动化的朋友试过用多模态模型识别发票。国外的模型虽然能识别出发票这种文档类型但对上面的中文项目名称、税号、开户行这些信息的理解经常出错。换了智谱的模型后准确率明显上升。原因很简单——人家的训练数据里就有这些玩意儿。除了中文场景这个差异化优势智谱在多模态架构上也有些自己的想法。他们没有简单地用图片编码器文本模型的串行架构而是在中间加入了一个交叉注意力层让视觉信息和文本信息在更早期就开始交互。这个架构选择带来的效果挺微妙的。简单来说模型不是先看懂图片再描述出来而是在看的过程中就在不断地用语言知识去理解和推理。这更接近人类的视觉理解方式——我们看东西的时候不是先看清所有细节再理解而是一边看一边理解看到局部就开始猜测全局。实际体验下来这个架构在处理一些需要推理的视觉任务时确实更出色。比如给模型看一张梗图它不光能描述图上有什么还能get到笑点在哪。虽然偶尔也会翻车但成功率比我想象的高。当然了多模态模型还有很长的路要走。智谱现在的版本在视频理解上还比较弱对动态场景的时序关系把握得不太好。另外在非常细粒度的视觉任务上比如医学影像分析、工业检测这些专业领域通用模型的表现还是不够用。这些都需要更专门的优化或者领域适配。不过整体来看智谱在多模态上的思路是清晰的不做大而全的万能眼睛而是围绕中文用户的真实场景把视觉理解做得更实用、更接地气。这个定位我觉得挺聪明的。