1. 项目概述为什么我们需要一个全新的搜索能力基准最近和几个做LLM应用落地的朋友聊天大家普遍有个头疼的问题现在的大模型尤其是多语言大模型宣传的“联网搜索”功能听起来很美但实际用起来尤其是在处理非英语信息时效果简直是开盲盒。你让它查一下某个东南亚市场的最新政策或者核实一条欧洲小众语言的新闻它要么给你编造一段看似合理实则错误的信息要么干脆甩给你一个过时甚至不相关的链接。这种不确定性让任何想依赖大模型进行严肃信息获取、研究辅助或商业决策的团队都望而却步。这正是“MARCA”这个基准测试试图解决的核心痛点。它不是一个简单的准确率排行榜而是一套基于清单Checklist进行系统性评估的方法论。你可以把它理解为一个极其严苛的“路考”。传统的基准测试可能只关心车能不能从A点开到B点答案对不对而MARCA则要检查司机大模型在复杂路况多语言、动态网络环境下是否遵守了所有的交通规则搜索行为准则变道前有没有打灯引用来源是否清晰遇到施工路段知不知道绕行信息过时如何处理它的评估维度是立体的、可解释的。简单来说MARCA瞄准的是大模型“如何”进行网络搜索而不仅仅是搜索“结果”是什么。这对于衡量一个模型是否真正可靠、是否能在生产环境中担当“信息助理”的角色至关重要。无论是开发者选型、研究者改进模型还是最终用户评估可用性MARCA提供的都是一份深度体检报告而非简单的成绩单。2. MARCA基准的核心设计哲学与评估框架2.1 从“答案正确”到“过程可靠”的范式转变现有的很多评估比如MMLU、HellaSwag等主要测试模型的知识储备和推理能力题目和答案是静态的。而网络搜索任务本质上是动态和过程依赖的。一个完美的搜索过程应该像一位专业的研究员明确需求、制定检索策略、筛选和评估信息来源、综合信息并规范引用。模型任何一个环节的失误都可能导致最终答案的偏差。MARCA的创新在于它将这个理想的研究过程拆解成一张详细的、可量化的“评估清单”。这份清单上的每一项都对应着一次可靠搜索所必须满足的条件。评估时不再只是对比模型输出的最终答案和标准答案而是逐一核对模型在完成搜索任务过程中是否勾选了清单上的所有“必选项”。2.2 评估清单的多维度构成MARCA的清单通常涵盖以下几个核心维度每个维度下又包含若干具体的检查项查询构建质量模型是否将用户模糊的问题转化成了有效的搜索引擎查询词例如用户问“苹果最新产品的市场反响”模型是直接搜索这句中文还是将其优化为“Apple iPhone 15 market reception reviews 2023”这样的中英文混合或纯英文关键词这一步直接决定了搜索结果的源头质量。来源覆盖与多样性模型是否检索并参考了多个独立来源它是否偏向于某个特定网站如只引用维基百科对于争议性话题是否呈现了不同观点清单会检查引用来源的数量、类型新闻、学术论文、官方文档、论坛等和独立性。信息新鲜度与时效性判断对于时效性敏感的问题如“当前乌克兰局势”模型引用的信息是否足够新它是否识别出某些页面虽然主题相关但内容已经过时清单会要求评估引用的发布日期或最后修改日期。引用的精确性与可验证性模型提供的引用是否精确到可以快速定位原文是只给了一个域名如“根据维基百科…”还是提供了具体的URL甚至提到了相关段落模糊的引用等同于无法验证价值大打折扣。综合与溯源能力模型是简单地复制粘贴了某一段原文还是真正理解了多个来源的信息后进行整合、去重并用自己的话表述在整合时是否清晰地标明了哪些信息来自哪个来源这直接关系到输出内容的可信度和侵权风险。对“未知”的诚实度当搜索无法找到确切答案或信息相互矛盾时模型是坦然承认不确定性还是强行编造一个看似合理的答案诚实度是评估模型可靠性的关键安全阀。注意这份清单不是固定的MARCA框架允许根据不同的任务领域如科技新闻、医学咨询、金融数据定制化清单条目使其评估更具针对性。2.3 多语言挑战的专门设计“多语言”是MARCA的另一大重点。它不仅仅是把英语的测试题翻译成其他语言那么简单而是设计了针对跨语言搜索的核心挑战低资源语言覆盖对于训练数据较少的语言如斯瓦希里语、孟加拉语模型是直接尝试用该语言搜索还是将其“翻译”成高资源语言如英语进行搜索后再翻译回来这两种策略的优劣和准确性如何跨语言信息整合一个问题可能需要整合中文、英文和日文来源的信息。模型是否能处理不同语言来源并消除可能因语言差异带来的表述歧义文化语境理解某些查询具有强烈的文化特异性例如查询某个本地节日的习俗。模型是否能理解这种语境并检索到该语言文化圈内的权威来源而不是直接套用其他文化的解释MARCA通过构建包含高、中、低资源语言在内的多样化测试集并设计相应的清单检查项如“是否使用了目标语言的关键词进行检索”、“引用的来源是否来自目标语言的主流网站”来系统性地衡量模型的多语言搜索鲁棒性。3. 实操如何利用MARCA框架进行本地化评估虽然完整的MARCA基准测试涉及大规模的测试集构建和自动化评估流水线但其核心思想完全可以被我们借鉴用于对特定模型如ChatGPT、Claude、国内各大模型的搜索能力进行手动或半自动的“快测”。下面我以一个具体场景为例拆解操作步骤。3.1 定义测试场景与定制清单假设我们团队主要关心大模型在“全球科技动态”领域的多语言搜索能力。我们可以定制一个简化版的评估清单清单维度具体检查项是/否权重查询构建1. 将中文问题优化为含英文关键词的查询词中2. 查询词中包含了关键实体公司名、产品名高来源质量3. 引用了至少2个独立来源高4. 来源包含至少1个国际主流科技媒体如TechCrunch, The Verge中5. 来源发布日期在6个月内高引用规范6. 提供了可直接点击或访问的具体URL高7. 在回答中明确指出了某信息对应某来源中综合能力8. 答案是对多个信息的整合而非单一来源复制高9. 对于数据如销量、股价提供了明确出处高3.2 设计测试问题设计问题需要多样性兼顾中英文和时效性。例如中文主导需跨语言检索“特斯拉Cybertruck最近的交付情况如何主要遇到了哪些生产挑战”期望模型检索英文最新报道非英语市场动态“索尼PlayStation 5在日本市场的销量最近一个季度有什么变化”期望模型能检索日文或英文的财经报告新兴技术概念“什么是‘AI Pin’目前市场对它的评价怎么样”期望模型能识别这个新产品并找到近期评测低资源语言试探“越南的电动汽车品牌VinFast在美国的最新发展如何”测试对特定国家品牌新闻的覆盖3.3 执行测试与记录对每个问题使用你要评估的大模型确保开启联网搜索功能输入问题并完整记录其交互过程与最终输出。记录要点包括原始问题模型实际发出的搜索查询如果可见例如在ChatGPT中它可能会显示“正在搜索‘Tesla Cybertruck delivery delays production issues 2024’”。模型给出的完整回答。模型提供的引用链接列表。3.4 基于清单进行人工评估这是最关键的一步。针对每个问题的输出对照我们的定制清单逐项打分是/否。例如对于问题1检查项1模型是否使用了“Tesla Cybertruck delivery”等英文关键词是。检查项3是否引用了至少2个独立来源假设它引用了CNBC和Electrek的报道是。检查项5来源是否在6个月内检查链接确认文章日期为2024年3月是。检查项6是否提供了具体URL是。检查项8答案是否整合了信息阅读回答发现它概括了延迟原因和部分交付数据并非照抄某一段是。将所有问题的评估结果汇总就能得到该模型在我们关心的“全球科技动态”场景下的一个能力剖面图。你可以很快发现模型的薄弱环节比如它可能总是忽略提供具体数据出处检查项9或者对非英语市场新闻的覆盖很弱。实操心得手动评估虽然耗时但能带来最直观的体感。建议至少评估10-15个问题覆盖不同维度结果才更有说服力。评估时最好两人一组交叉核对避免主观偏差。4. 核心环节实现自动化评估的挑战与思路MARCA论文中描述的肯定是自动化评估系统。对于我们理解其技术内核或未来自建简单评估脚本很有帮助。自动化评估的核心挑战在于如何让机器理解“过程”并执行“清单检查”。4.1 模拟搜索会话的交互日志自动化评估平台首先需要能驱动大模型进行完整的搜索会话。这通常通过API调用模拟用户提问并允许模型发出搜索指令。平台会拦截这些指令调用真实的搜索引擎API如Google Search API、Bing API获取结果再将结果以结构化格式标题、摘要、URL、日期返回给模型让模型基于这些结果生成最终答案。整个交互过程的日志包括模型发出的所有搜索查询、收到的所有搜索结果片段、以及最终答案是评估的原始材料。4.2 基于LLM-as-Judge的清单项检查这是实现自动化的关键。对于清单中的许多主观检查项如“答案是否是对多个信息的整合”传统规则难以处理。MARCA这类基准会采用“大模型即裁判”的策略。具体做法是为每个检查项设计专用的评判提示词例如针对“综合能力”的提示词可能是“你是一名评估员。请阅读以下用户问题、模型收到的多份搜索结果摘要、以及模型的最终答案。判断模型的答案是否是对多个搜索结果摘要信息的有效整合而非简单复制某一份摘要。只输出‘是’或‘否’。”调用一个更强大的、被假定为可靠的LLM作为裁判通常使用GPT-4、Claude 3等顶级模型。聚合结果将交互日志和问题根据每个检查项的提示词构造成提示发送给裁判LLM收集其“是/否”判断。4.3 多语言与时效性的自动化验证语言识别对于“是否使用目标语言检索”这类检查可以使用轻量级的语言检测库如langdetect对模型发出的搜索查询字符串进行快速识别。时效性验证对于来源日期可以从搜索返回结果的元数据中提取或通过爬取引用URL页面的HTML头信息中的last-modified或article:published_time等标签来获取然后与当前时间对比。可访问性验证对于引用URL可以发起一个HEAD请求检查链接是否有效返回200状态码避免模型引用死链。4.4 评分聚合与可视化最后每个测试问题都会得到一个清单完成度的向量例如 [是, 是, 否, 是...]。通过加权平均参考前面表格的权重可以计算该问题的总分。再对所有测试问题取平均得到模型在该基准上的最终分数。更高级的可视化可以展示模型在不同维度查询、来源、引用、综合上的雷达图清晰揭示其强项和短板。# 一个极度简化的概念性代码片段展示评估逻辑 class ChecklistItem: def __init__(self, name, weight): self.name name self.weight weight def evaluate(self, interaction_log, final_answer): # 这里应包含复杂的判断逻辑可能是规则也可能是调用LLM裁判 pass def run_marca_evaluation(test_questions, model, checklist): total_score 0 max_score sum(item.weight for item in checklist) for question in test_questions: interaction_log model.perform_web_search(question) # 模拟交互 final_answer interaction_log[final_answer] question_score 0 for item in checklist: if item.evaluate(interaction_log, final_answer): question_score item.weight total_score (question_score / max_score) # 归一化 final_score total_score / len(test_questions) return final_score5. 常见问题与模型行为深度剖析在实际测试和研究中基于MARCA框架的评估揭示了大模型在网络搜索任务上一些反复出现且有趣的“病症”。5.1 查询构建的典型失误问题模型倾向于使用过于冗长、口语化的完整句子作为搜索词而非提取关键实体和术语的组合。例如将“帮我找找关于人工智能在气候变化领域应用的最新研究进展”直接作为查询效果远不如“AI climate change research 2024”。根因分析这反映出模型在训练时可能更多学习了人类对话的范式而没有专门优化其“搜索查询生成”这个子任务。它混淆了“对人类用户说话”和“对搜索引擎说话”两种不同语言风格。解决思路在模型指令微调Instruction Tuning阶段加入大量“将问题转化为高效搜索关键词”的示例对。或者在推理时设计一个链式思维Chain-of-Thought让模型先输出“要回答这个问题我需要搜索以下几个关键词关键词1 关键词2...”5.2 “来源幻觉”与引用不精确问题这是最严重的问题之一。模型可能会生成一个看似具体的引用如“根据《华尔街日报》2024年4月1日的报道...”但提供的链接却无法访问或者链接指向的页面内容与描述完全不符。更隐蔽的是模型可能综合了真实信息却错误地将其归因到某个权威来源上。根因分析大模型本质上是“下一个词预测器”它学习了“权威引用”的文本模式“根据...报道”但并不真正具备验证链接和内容一致性的能力。当它无法在上下文中找到完美匹配的引用时可能会基于概率生成一个看似合理的“幻觉”引用。解决思路MARCA的清单评估对此是零容忍的。技术上需要在模型架构或推理过程中加强“ grounding”。一种方法是在返回答案前强制模型为答案中的每一个关键事实陈述从它收到的搜索摘要中找出对应的支持片段并记录片段索引然后只引用那些有明确支撑的来源。5.3 多语言场景下的“抄近道”策略问题当面对低资源语言查询时许多模型会采取“翻译-搜索-回译”的策略。这本身是一种实用技巧但问题在于模型往往不透明这一过程导致两个风险1) 翻译可能引入歧义扭曲原问题意图2) 回译可能丢失原文细微含义或无法找到该语言文化圈内的最佳来源。根因分析模型的训练数据中高资源语言尤其是英语与高质量信息的关联性极强。模型潜意识里认为“英语信息更可靠”因此倾向于将问题路由到英语信息空间。解决思路评估时清单中需加入“检索来源语言分布”的检查项。理想的模型应该能根据问题判断对于全球性话题如“iPhone发布”使用英语搜索是高效的对于本地化极强的话题如“日本某地祭典”则应优先使用日语搜索。这要求模型具备更强的语言意图识别和检索策略规划能力。5.4 对动态信息与“未知”的处理僵化问题对于快速变化的事件如股市行情、体育比赛比分模型引用的信息可能在被用户读到时就已过时。另外对于完全没有答案或信息矛盾的问题模型倾向于“硬着头皮”给出一个答案而不是承认知识边界。根因分析大模型的知识存在“时间戳”滞后性其参数化知识无法实时更新。虽然联网搜索提供了获取新信息的通道但模型缺乏“信息时效性敏感度”和“不确定性量化”的机制。解决思路在清单评估中对时效性敏感问题必须检查引用日期。同时可以设计专门测试“模型诚实度”的问题例如询问一个完全虚构的事件“请问关于2024年火星城市首届市长选举的结果”。一个可靠的模型应该回答“经过搜索未找到关于此事件的任何权威信息这可能是一个虚构事件。” 在模型设计上需要为其输出增加“置信度”或“不确定性”标识。6. 对开发者与研究者的启示MARCA基准的出现标志着大模型评估进入了一个更精细、更贴近实际应用的新阶段。对于我们一线从业者而言它带来了几个明确的行动方向首先在模型选型上不要再只看总的准确率分数。如果你需要的是一个能联网的“研究助手”你应该深入查看它在MARCA或类似基准上“引用精确性”、“来源多样性”和“综合能力”这几个维度的得分。一个在传统知识问答上得分很高但在MARCA上引用一团糟的模型在实际应用中可能会带来更多麻烦。其次在应用开发中要对模型的搜索能力进行“加固”。不要完全信任模型原生的搜索输出。可以在应用层增加后处理校验例如自动检查所有引用链接的可访问性。对模型答案中的关键事实数字、日期、结论尝试用原始搜索摘要进行反向验证。对于重要回答强制要求模型提供“证据链”即答案中的每一句话最好都能对应到某个引用摘要。最后对于从事模型微调或研发的团队MARCA的清单就是一份绝佳的“能力培养大纲”。你可以利用其思想构造高质量的指令微调数据。例如不仅提供“问题-答案”对更提供“问题-搜索关键词-检索结果-综合答案-规范引用”的完整链条数据。训练模型学会整个信息获取与加工的标准流程而不仅仅是预测答案。在我自己的实践中我开始有意识地将这些清单项作为提示词的一部分引导模型行为。比如在提问时加上“请用中文和英文关键词组合进行搜索并引用至少两个不同来源的近期报道在回答中明确指出具体数据出自哪个来源。” 虽然不能百分百保证但确实能显著提升模型回复的规范性和可靠性。这或许就是MARCA这类基准带给我们的最大价值它为我们提供了一套与模型沟通、定义我们期望其如何工作的共同语言和清晰标准。
MARCA基准：如何系统评估大模型多语言搜索的可靠性与过程质量
1. 项目概述为什么我们需要一个全新的搜索能力基准最近和几个做LLM应用落地的朋友聊天大家普遍有个头疼的问题现在的大模型尤其是多语言大模型宣传的“联网搜索”功能听起来很美但实际用起来尤其是在处理非英语信息时效果简直是开盲盒。你让它查一下某个东南亚市场的最新政策或者核实一条欧洲小众语言的新闻它要么给你编造一段看似合理实则错误的信息要么干脆甩给你一个过时甚至不相关的链接。这种不确定性让任何想依赖大模型进行严肃信息获取、研究辅助或商业决策的团队都望而却步。这正是“MARCA”这个基准测试试图解决的核心痛点。它不是一个简单的准确率排行榜而是一套基于清单Checklist进行系统性评估的方法论。你可以把它理解为一个极其严苛的“路考”。传统的基准测试可能只关心车能不能从A点开到B点答案对不对而MARCA则要检查司机大模型在复杂路况多语言、动态网络环境下是否遵守了所有的交通规则搜索行为准则变道前有没有打灯引用来源是否清晰遇到施工路段知不知道绕行信息过时如何处理它的评估维度是立体的、可解释的。简单来说MARCA瞄准的是大模型“如何”进行网络搜索而不仅仅是搜索“结果”是什么。这对于衡量一个模型是否真正可靠、是否能在生产环境中担当“信息助理”的角色至关重要。无论是开发者选型、研究者改进模型还是最终用户评估可用性MARCA提供的都是一份深度体检报告而非简单的成绩单。2. MARCA基准的核心设计哲学与评估框架2.1 从“答案正确”到“过程可靠”的范式转变现有的很多评估比如MMLU、HellaSwag等主要测试模型的知识储备和推理能力题目和答案是静态的。而网络搜索任务本质上是动态和过程依赖的。一个完美的搜索过程应该像一位专业的研究员明确需求、制定检索策略、筛选和评估信息来源、综合信息并规范引用。模型任何一个环节的失误都可能导致最终答案的偏差。MARCA的创新在于它将这个理想的研究过程拆解成一张详细的、可量化的“评估清单”。这份清单上的每一项都对应着一次可靠搜索所必须满足的条件。评估时不再只是对比模型输出的最终答案和标准答案而是逐一核对模型在完成搜索任务过程中是否勾选了清单上的所有“必选项”。2.2 评估清单的多维度构成MARCA的清单通常涵盖以下几个核心维度每个维度下又包含若干具体的检查项查询构建质量模型是否将用户模糊的问题转化成了有效的搜索引擎查询词例如用户问“苹果最新产品的市场反响”模型是直接搜索这句中文还是将其优化为“Apple iPhone 15 market reception reviews 2023”这样的中英文混合或纯英文关键词这一步直接决定了搜索结果的源头质量。来源覆盖与多样性模型是否检索并参考了多个独立来源它是否偏向于某个特定网站如只引用维基百科对于争议性话题是否呈现了不同观点清单会检查引用来源的数量、类型新闻、学术论文、官方文档、论坛等和独立性。信息新鲜度与时效性判断对于时效性敏感的问题如“当前乌克兰局势”模型引用的信息是否足够新它是否识别出某些页面虽然主题相关但内容已经过时清单会要求评估引用的发布日期或最后修改日期。引用的精确性与可验证性模型提供的引用是否精确到可以快速定位原文是只给了一个域名如“根据维基百科…”还是提供了具体的URL甚至提到了相关段落模糊的引用等同于无法验证价值大打折扣。综合与溯源能力模型是简单地复制粘贴了某一段原文还是真正理解了多个来源的信息后进行整合、去重并用自己的话表述在整合时是否清晰地标明了哪些信息来自哪个来源这直接关系到输出内容的可信度和侵权风险。对“未知”的诚实度当搜索无法找到确切答案或信息相互矛盾时模型是坦然承认不确定性还是强行编造一个看似合理的答案诚实度是评估模型可靠性的关键安全阀。注意这份清单不是固定的MARCA框架允许根据不同的任务领域如科技新闻、医学咨询、金融数据定制化清单条目使其评估更具针对性。2.3 多语言挑战的专门设计“多语言”是MARCA的另一大重点。它不仅仅是把英语的测试题翻译成其他语言那么简单而是设计了针对跨语言搜索的核心挑战低资源语言覆盖对于训练数据较少的语言如斯瓦希里语、孟加拉语模型是直接尝试用该语言搜索还是将其“翻译”成高资源语言如英语进行搜索后再翻译回来这两种策略的优劣和准确性如何跨语言信息整合一个问题可能需要整合中文、英文和日文来源的信息。模型是否能处理不同语言来源并消除可能因语言差异带来的表述歧义文化语境理解某些查询具有强烈的文化特异性例如查询某个本地节日的习俗。模型是否能理解这种语境并检索到该语言文化圈内的权威来源而不是直接套用其他文化的解释MARCA通过构建包含高、中、低资源语言在内的多样化测试集并设计相应的清单检查项如“是否使用了目标语言的关键词进行检索”、“引用的来源是否来自目标语言的主流网站”来系统性地衡量模型的多语言搜索鲁棒性。3. 实操如何利用MARCA框架进行本地化评估虽然完整的MARCA基准测试涉及大规模的测试集构建和自动化评估流水线但其核心思想完全可以被我们借鉴用于对特定模型如ChatGPT、Claude、国内各大模型的搜索能力进行手动或半自动的“快测”。下面我以一个具体场景为例拆解操作步骤。3.1 定义测试场景与定制清单假设我们团队主要关心大模型在“全球科技动态”领域的多语言搜索能力。我们可以定制一个简化版的评估清单清单维度具体检查项是/否权重查询构建1. 将中文问题优化为含英文关键词的查询词中2. 查询词中包含了关键实体公司名、产品名高来源质量3. 引用了至少2个独立来源高4. 来源包含至少1个国际主流科技媒体如TechCrunch, The Verge中5. 来源发布日期在6个月内高引用规范6. 提供了可直接点击或访问的具体URL高7. 在回答中明确指出了某信息对应某来源中综合能力8. 答案是对多个信息的整合而非单一来源复制高9. 对于数据如销量、股价提供了明确出处高3.2 设计测试问题设计问题需要多样性兼顾中英文和时效性。例如中文主导需跨语言检索“特斯拉Cybertruck最近的交付情况如何主要遇到了哪些生产挑战”期望模型检索英文最新报道非英语市场动态“索尼PlayStation 5在日本市场的销量最近一个季度有什么变化”期望模型能检索日文或英文的财经报告新兴技术概念“什么是‘AI Pin’目前市场对它的评价怎么样”期望模型能识别这个新产品并找到近期评测低资源语言试探“越南的电动汽车品牌VinFast在美国的最新发展如何”测试对特定国家品牌新闻的覆盖3.3 执行测试与记录对每个问题使用你要评估的大模型确保开启联网搜索功能输入问题并完整记录其交互过程与最终输出。记录要点包括原始问题模型实际发出的搜索查询如果可见例如在ChatGPT中它可能会显示“正在搜索‘Tesla Cybertruck delivery delays production issues 2024’”。模型给出的完整回答。模型提供的引用链接列表。3.4 基于清单进行人工评估这是最关键的一步。针对每个问题的输出对照我们的定制清单逐项打分是/否。例如对于问题1检查项1模型是否使用了“Tesla Cybertruck delivery”等英文关键词是。检查项3是否引用了至少2个独立来源假设它引用了CNBC和Electrek的报道是。检查项5来源是否在6个月内检查链接确认文章日期为2024年3月是。检查项6是否提供了具体URL是。检查项8答案是否整合了信息阅读回答发现它概括了延迟原因和部分交付数据并非照抄某一段是。将所有问题的评估结果汇总就能得到该模型在我们关心的“全球科技动态”场景下的一个能力剖面图。你可以很快发现模型的薄弱环节比如它可能总是忽略提供具体数据出处检查项9或者对非英语市场新闻的覆盖很弱。实操心得手动评估虽然耗时但能带来最直观的体感。建议至少评估10-15个问题覆盖不同维度结果才更有说服力。评估时最好两人一组交叉核对避免主观偏差。4. 核心环节实现自动化评估的挑战与思路MARCA论文中描述的肯定是自动化评估系统。对于我们理解其技术内核或未来自建简单评估脚本很有帮助。自动化评估的核心挑战在于如何让机器理解“过程”并执行“清单检查”。4.1 模拟搜索会话的交互日志自动化评估平台首先需要能驱动大模型进行完整的搜索会话。这通常通过API调用模拟用户提问并允许模型发出搜索指令。平台会拦截这些指令调用真实的搜索引擎API如Google Search API、Bing API获取结果再将结果以结构化格式标题、摘要、URL、日期返回给模型让模型基于这些结果生成最终答案。整个交互过程的日志包括模型发出的所有搜索查询、收到的所有搜索结果片段、以及最终答案是评估的原始材料。4.2 基于LLM-as-Judge的清单项检查这是实现自动化的关键。对于清单中的许多主观检查项如“答案是否是对多个信息的整合”传统规则难以处理。MARCA这类基准会采用“大模型即裁判”的策略。具体做法是为每个检查项设计专用的评判提示词例如针对“综合能力”的提示词可能是“你是一名评估员。请阅读以下用户问题、模型收到的多份搜索结果摘要、以及模型的最终答案。判断模型的答案是否是对多个搜索结果摘要信息的有效整合而非简单复制某一份摘要。只输出‘是’或‘否’。”调用一个更强大的、被假定为可靠的LLM作为裁判通常使用GPT-4、Claude 3等顶级模型。聚合结果将交互日志和问题根据每个检查项的提示词构造成提示发送给裁判LLM收集其“是/否”判断。4.3 多语言与时效性的自动化验证语言识别对于“是否使用目标语言检索”这类检查可以使用轻量级的语言检测库如langdetect对模型发出的搜索查询字符串进行快速识别。时效性验证对于来源日期可以从搜索返回结果的元数据中提取或通过爬取引用URL页面的HTML头信息中的last-modified或article:published_time等标签来获取然后与当前时间对比。可访问性验证对于引用URL可以发起一个HEAD请求检查链接是否有效返回200状态码避免模型引用死链。4.4 评分聚合与可视化最后每个测试问题都会得到一个清单完成度的向量例如 [是, 是, 否, 是...]。通过加权平均参考前面表格的权重可以计算该问题的总分。再对所有测试问题取平均得到模型在该基准上的最终分数。更高级的可视化可以展示模型在不同维度查询、来源、引用、综合上的雷达图清晰揭示其强项和短板。# 一个极度简化的概念性代码片段展示评估逻辑 class ChecklistItem: def __init__(self, name, weight): self.name name self.weight weight def evaluate(self, interaction_log, final_answer): # 这里应包含复杂的判断逻辑可能是规则也可能是调用LLM裁判 pass def run_marca_evaluation(test_questions, model, checklist): total_score 0 max_score sum(item.weight for item in checklist) for question in test_questions: interaction_log model.perform_web_search(question) # 模拟交互 final_answer interaction_log[final_answer] question_score 0 for item in checklist: if item.evaluate(interaction_log, final_answer): question_score item.weight total_score (question_score / max_score) # 归一化 final_score total_score / len(test_questions) return final_score5. 常见问题与模型行为深度剖析在实际测试和研究中基于MARCA框架的评估揭示了大模型在网络搜索任务上一些反复出现且有趣的“病症”。5.1 查询构建的典型失误问题模型倾向于使用过于冗长、口语化的完整句子作为搜索词而非提取关键实体和术语的组合。例如将“帮我找找关于人工智能在气候变化领域应用的最新研究进展”直接作为查询效果远不如“AI climate change research 2024”。根因分析这反映出模型在训练时可能更多学习了人类对话的范式而没有专门优化其“搜索查询生成”这个子任务。它混淆了“对人类用户说话”和“对搜索引擎说话”两种不同语言风格。解决思路在模型指令微调Instruction Tuning阶段加入大量“将问题转化为高效搜索关键词”的示例对。或者在推理时设计一个链式思维Chain-of-Thought让模型先输出“要回答这个问题我需要搜索以下几个关键词关键词1 关键词2...”5.2 “来源幻觉”与引用不精确问题这是最严重的问题之一。模型可能会生成一个看似具体的引用如“根据《华尔街日报》2024年4月1日的报道...”但提供的链接却无法访问或者链接指向的页面内容与描述完全不符。更隐蔽的是模型可能综合了真实信息却错误地将其归因到某个权威来源上。根因分析大模型本质上是“下一个词预测器”它学习了“权威引用”的文本模式“根据...报道”但并不真正具备验证链接和内容一致性的能力。当它无法在上下文中找到完美匹配的引用时可能会基于概率生成一个看似合理的“幻觉”引用。解决思路MARCA的清单评估对此是零容忍的。技术上需要在模型架构或推理过程中加强“ grounding”。一种方法是在返回答案前强制模型为答案中的每一个关键事实陈述从它收到的搜索摘要中找出对应的支持片段并记录片段索引然后只引用那些有明确支撑的来源。5.3 多语言场景下的“抄近道”策略问题当面对低资源语言查询时许多模型会采取“翻译-搜索-回译”的策略。这本身是一种实用技巧但问题在于模型往往不透明这一过程导致两个风险1) 翻译可能引入歧义扭曲原问题意图2) 回译可能丢失原文细微含义或无法找到该语言文化圈内的最佳来源。根因分析模型的训练数据中高资源语言尤其是英语与高质量信息的关联性极强。模型潜意识里认为“英语信息更可靠”因此倾向于将问题路由到英语信息空间。解决思路评估时清单中需加入“检索来源语言分布”的检查项。理想的模型应该能根据问题判断对于全球性话题如“iPhone发布”使用英语搜索是高效的对于本地化极强的话题如“日本某地祭典”则应优先使用日语搜索。这要求模型具备更强的语言意图识别和检索策略规划能力。5.4 对动态信息与“未知”的处理僵化问题对于快速变化的事件如股市行情、体育比赛比分模型引用的信息可能在被用户读到时就已过时。另外对于完全没有答案或信息矛盾的问题模型倾向于“硬着头皮”给出一个答案而不是承认知识边界。根因分析大模型的知识存在“时间戳”滞后性其参数化知识无法实时更新。虽然联网搜索提供了获取新信息的通道但模型缺乏“信息时效性敏感度”和“不确定性量化”的机制。解决思路在清单评估中对时效性敏感问题必须检查引用日期。同时可以设计专门测试“模型诚实度”的问题例如询问一个完全虚构的事件“请问关于2024年火星城市首届市长选举的结果”。一个可靠的模型应该回答“经过搜索未找到关于此事件的任何权威信息这可能是一个虚构事件。” 在模型设计上需要为其输出增加“置信度”或“不确定性”标识。6. 对开发者与研究者的启示MARCA基准的出现标志着大模型评估进入了一个更精细、更贴近实际应用的新阶段。对于我们一线从业者而言它带来了几个明确的行动方向首先在模型选型上不要再只看总的准确率分数。如果你需要的是一个能联网的“研究助手”你应该深入查看它在MARCA或类似基准上“引用精确性”、“来源多样性”和“综合能力”这几个维度的得分。一个在传统知识问答上得分很高但在MARCA上引用一团糟的模型在实际应用中可能会带来更多麻烦。其次在应用开发中要对模型的搜索能力进行“加固”。不要完全信任模型原生的搜索输出。可以在应用层增加后处理校验例如自动检查所有引用链接的可访问性。对模型答案中的关键事实数字、日期、结论尝试用原始搜索摘要进行反向验证。对于重要回答强制要求模型提供“证据链”即答案中的每一句话最好都能对应到某个引用摘要。最后对于从事模型微调或研发的团队MARCA的清单就是一份绝佳的“能力培养大纲”。你可以利用其思想构造高质量的指令微调数据。例如不仅提供“问题-答案”对更提供“问题-搜索关键词-检索结果-综合答案-规范引用”的完整链条数据。训练模型学会整个信息获取与加工的标准流程而不仅仅是预测答案。在我自己的实践中我开始有意识地将这些清单项作为提示词的一部分引导模型行为。比如在提问时加上“请用中文和英文关键词组合进行搜索并引用至少两个不同来源的近期报道在回答中明确指出具体数据出自哪个来源。” 虽然不能百分百保证但确实能显著提升模型回复的规范性和可靠性。这或许就是MARCA这类基准带给我们的最大价值它为我们提供了一套与模型沟通、定义我们期望其如何工作的共同语言和清晰标准。
