基于置信度校准与增量推理的任务专用多模态问答智能体QANTA 2026竞赛方案论文原网页地址https://arxiv.org/html/2607.09623v1摘要本文介绍我们参与ICML 2026研讨会QANTA多模态问答竞赛的完整参赛方案。QANTA基于知识竞赛Quizbowl场景设计问答评测模型需要逐段读取递进式文本线索并配套图像在算力开销约束下完成作答。竞赛分为两大子任务抢答题Tossup需要在信息不完全、存在不确定性时自主判断作答时机附加题Bonus侧重精准答案筛选与人机协同采纳率。针对两类任务差异化目标本文设计双智能体专用架构抢答题智能体采用GPT-4.1-mini轻量化基座搭配置信度校准作答策略、数值推理防护墙解决孤立数值线索带来模型过度自信问题附加题智能体基于GPT-4.1完整版模型实现前置主题感知推理、结构化关系推理、多模态证据融合提升精准答案输出质量。本方案不依赖检索流水线与模型集成仅通过轻量化任务专属推理策略完成优化。最终总榜单得分0.402排名第一其中抢答题得分0.238附加题效益分0.164。实验证明轻量化、定制化推理策略在算力受限多模态问答基准上可取得顶尖效果。核心贡献针对QANTA双任务设计差异化双智能体问答架构提出适配增量线索场景的置信度校准推理、数值防护策略在官方竞赛环境完成完整消融与结果实证分析。1 引言QANTA 2026面向知识竞赛场景搭建多模态问答评测体系模型需要根据逐段递进的金字塔式线索配套图像完成推理。传统VQA基准一次性给出完整上下文而QANTA要求模型在信息持续增量的过程中动态更新判断、自主选择作答时机因此置信度校准、轻量化推理与答案准确率同等关键。竞赛划分两类互补任务抢答题线索分段逐步展示提前作答收益更高但错误会扣分需要权衡时机与正确率部分题目附带图像需融合图文信息附加题一次性提供全部上下文侧重精准答案输出、置信度可信度、人机协同采纳效果同样支持多模态输入。两类任务优化目标完全不同因此本文提出两套专用智能体分别适配轻量化增量推理、深度结构化多模态推理。整套方案无需检索工具与模型集成仅依靠提示工程与推理规则优化最终总分登顶竞赛榜单。2 任务概述2.1 抢答题Tossup题目采用金字塔式递进线索前期线索特征模糊、辨识度低后期线索信息明确。模型可任意阶段触发抢答buzz形成收益-惩罚权衡早答加分高但误答扣分。部分题目附带图片画作、地图、科学图表、带文字截图等需要融合图文证据。核心难点在信息不完备时判断是否具备充足证据作答。2. 附加题Bonus多分段复合题型开头前置导语leadin统一全题主题、实体关联。完整上下文一次性提供无需抉择作答时机核心目标精准答案、推理可解释、输出便于人类队长采信。题目同样可附带图像作为补充证据评测引入人机协同指标AI输出仅作为人类参考建议。2. 评测指标体系抢答题指标期望得分、抢答精度、平均抢答位置、胜率优于其余选手占比、推理算力开销。附加题指标附加效益分Bonus Effect综合正确率人机采纳、单小题正确率、整题正确率、置信度匹配度、人类采纳率。统一约束推理延迟、API调用token总量、推理成本作为算力约束指标。3 系统整体架构整体分为两条独立推理链路抢答题链路输入流式文本可选图像 → GPT-4.1-mini智能体 → 证据路由、置信度校准、数值防火墙、期望收益决策 → 触发抢答/等待下一线索附加题链路完整图文输入 → GPT-4.1智能体 → 主题前置推理、多模态证据融合 → 输出答案简短证据说明。3.1 三大设计原则任务专用化两类任务优化目标不同分开建模不使用统一提示模板置信度优先校准模型预测可信度避免过度自信误触发抢答轻量化多模态融合文本生成候选图像仅做校验消歧减少图文并行推理开销。3.2 抢答题智能体流程逐段接收增量线索每轮输出答案0~1数值置信度P(correct)P(\text{correct})P(correct)基于期望收益公式判断是否抢答搭配数值推理防护墙抑制数值线索过度自信。3.3 附加题智能体流程先解析导语锁定全局主题约束再逐段推理采用晚融合多模态策略文本生成候选图像交叉核验修正置信度输出精简答案简短证据提升人类采纳率。3.4 多模态证据路由策略不将图文同等权重处理文本作为核心假设来源图像仅做辅助消歧。推理流程文本生成候选集合 → 图像信息交叉校验 → 匹配则提升置信冲突则降低置信大幅减少无意义多模态计算。4 抢答题专用智能体Glint4.1 基座选型选用GPT-4.1-mini兼顾推理速度、API成本与基础准确率抢答题需要数十轮增量迭代推理轻量化模型是算力约束下最优选择。智能体设定为专业知识竞赛选手每轮新增线索更新候选答案避免依靠少量模糊线索下定论。图像仅作为辅助校验不主导推理。4.2 置信度校准抢答决策核心决策公式EVP(正确)−0.5×P(错误)EV P(\text{正确}) - 0.5 \times P(\text{错误})EVP(正确)−0.5×P(错误)EV代表期望收益匹配竞赛扣分规则答错扣一半答对得分。硬性置信门限仅当模型输出置信P(correct)≥0.90P(\text{correct}) \ge 0.90P(correct)≥0.90时才允许抢答。开发集实验证明0.9以下置信对应的假设极不稳定容易误判。4.3 数值推理防火墙Numeric Firewall模型常见失效模式仅依靠孤立数字、公式、测量值就给出高置信预测提前抢答扣分。防护规则仅当数值线索满足以下任一配套上下文时置信度才允许提升至0.9以上配套专属实体名称完整公式体系多条独立线索指向同一结论。纯数字线索仅保留基础低置信杜绝仅凭数值过度自信抢答。4.4 迭代优化与典型错误三版迭代优化路径优化目标从单纯正确率改为期望收益最大化增加数值防火墙修复理科类误抢答上调置信门限降低模糊线索误触发。高频错误模糊主题线索提前抢答、近义实体混淆、孤立数字高置信通过置信门限、线索判别提示词缓解。4.5 抢答题官方评测结果表1 抢答题完整指标指标数值期望总得分0.238抢答精度72.5%触发抢答题目占比94.2%平均抢答线索位置60.558胜率71.1%官方评测总API成本0.14美元整套轻量化模型推理成本极低覆盖94.2%题目且保持72.5%抢答精准度。5 附加题专用智能体Guild5.1 基座选型采用完整版GPT-4.1附加题无需多轮增量推理更看重长文本关联、多模态细粒度消歧、可解释输出大模型推理能力收益更高。智能定位为答案检索消歧工具输出结构化精简内容。5.2 前置主题感知推理优先解析导语锁定全题统一主题、实体类别约束后续每小题候选答案范围避免跨主题混淆大幅提升多分段题目一致性。5.3 多模态晚融合流水线文本线索生成候选答案集合解析图像图表、画作、OCR文字交叉核验所有候选图像佐证则提升置信矛盾则剔除候选。图像仅做二次校验不独立生成假设节省算力。5.4 人机采纳优化设计人类队长仅参考AI输出冗长、模糊解释会降低采信率。约束输出规范核心答案前置附带简短证据与明确置信分数剔除冗余修饰语句便于快速核验。5.5 迭代优化与典型缺陷初代版本解释文本冗长采纳率偏低迭代后精简结构化输出同时增加实体消歧逻辑。多模态类错误通过图文交叉校验缓解。5.6 附加题官方评测结果表2 附加题完整指标指标数值附加效益分0.164单小题正确率89.1%整题正确率72.7%置信匹配度88.2%人类采纳率33.8%高置信匹配度说明模型可信度符合人类判断标准33.8%采纳率证明输出具备实用参考价值。6 完整竞赛综合实验6.1 实验环境基于QANTA 2026官方托管API评测平台两套智能体分别提交版本抢答题QANTA41Mini_V1、附加题QANTA41_Bonus_V1所有推理调用官方托管模型API无本地微调、无第三方检索工具。6.2 总榜单成绩表3 综合榜单指标数值总排名第1名综合总分0.402抢答题期望得分0.238附加效益分0.164附加题单小题正确率89.1%附加题人类采纳率33.8%第二名综合得分0.370本方案领先0.032分。7 误差分析与实验讨论7.1 置信度门限消融实验开发集消融表4证明门限直接决定抢答精度与期望收益置信门限抢答精度平均抢答位置单题期望得分0.7525%25-0.20.8575%390.00.90100%480.5低门限容易依据模糊线索误答扣分0.9保守门限虽然抢答位置偏后但收益稳定最优。模型0.8~0.85区间置信不可靠极易随新增线索推翻原有判断。7.2 近义实体混淆问题竞赛高频难点前期线索仅给出大类主题多个近义实体均符合描述模型容易提前锁定错误同类实体文学人物、宗教派系、历史时期。解决方案提示词强化独有区分线索优先无唯一标识时保持低置信、延后抢答。7.3 核心实验结论抢答题场景中置信度校准优先级高于单纯答案正确率轻量化专用提示策略效果优于复杂长推理链路多模态采用“文本为主、图像辅助校验”融合方案算力效率更高领域专用防护规则数值防火墙可针对性修复模型系统性错误。8 结论本文针对QANTA 2026知识竞赛多模态问答任务设计双任务专用智能体架构轻量化GPT-4.1-mini抢答题智能体搭配置信度校准、数值防火墙实现增量线索下稳定抢答决策完整版GPT-4.1附加智能体依托主题前置推理、图文晚融合输出高采信度结构化答案。整套方案无需检索、模型集成仅依靠定制推理规则综合得分0.402登顶竞赛榜单。误差分析证明置信度校准、实体消歧、轻量化多模态融合是增量问答场景三大核心优化方向。未来可进一步优化细粒度实体区分、自适应动态置信门限、更强数值推理防护。附录 完整复现、工程实现细节A.1 基座模型分配Glint抢答题智能体GPT-4.1-mini适配多轮增量低延迟推理Guild附加题智能体GPT-4.1完整版负责多段长文本、多模态深度推理。A.2 智能体核心职责Glint 抢答题智能逐段读取增量线索更新候选答案输出置信分满足0.9门限触发抢答内置数值防火墙抑制纯数字高置信。Guild 附加智能解析导语锁定全局主题图文交叉核验输出精简答案简短可解释证据优化人类采纳率。A.3 提示词设计三大准则独有区分线索优先推理弱化宽泛主题关联答案前置、解释精简降低人类阅读成本先解析全局导语约束全题答案语义范围。A.4 置信决策完整规则模型输出P(correct)P(\text{correct})P(correct)仅作为决策参考非严格概率抢答硬性阈值0.9低于阈值持续等待下一段线索。A.5 数值防火墙完整规则仅存在命名实体/完整公式/多条独立佐证时置信允许突破基础阈值孤立数字、测量值不允许高置信抢答。A.6 多模态晚融合完整流程文本线索生成候选实体集合解析图像OCR、图表、画风等信息图像匹配候选→提升置信图像冲突→剔除候选交叉核验后输出最终答案与置信。A.7 评测环境说明全部推理运行QANTA官方托管API不本地部署模型抢答题逐段流式输入附加题一次性完整图文输入。A.8 补充竞赛统计表5智能体统计指标数值Glint抢答获胜题目总数37Glint抢答单题答题正确率78.4%Guild附加整题正确率71.2Glint取得竞赛最多抢答获胜题量Guild稳定保障附加题正确率两套智能体互补达成总分第一。
基于置信度校准与增量推理的任务专用多模态问答智能体（QANTA 2026竞赛方案）
基于置信度校准与增量推理的任务专用多模态问答智能体QANTA 2026竞赛方案论文原网页地址https://arxiv.org/html/2607.09623v1摘要本文介绍我们参与ICML 2026研讨会QANTA多模态问答竞赛的完整参赛方案。QANTA基于知识竞赛Quizbowl场景设计问答评测模型需要逐段读取递进式文本线索并配套图像在算力开销约束下完成作答。竞赛分为两大子任务抢答题Tossup需要在信息不完全、存在不确定性时自主判断作答时机附加题Bonus侧重精准答案筛选与人机协同采纳率。针对两类任务差异化目标本文设计双智能体专用架构抢答题智能体采用GPT-4.1-mini轻量化基座搭配置信度校准作答策略、数值推理防护墙解决孤立数值线索带来模型过度自信问题附加题智能体基于GPT-4.1完整版模型实现前置主题感知推理、结构化关系推理、多模态证据融合提升精准答案输出质量。本方案不依赖检索流水线与模型集成仅通过轻量化任务专属推理策略完成优化。最终总榜单得分0.402排名第一其中抢答题得分0.238附加题效益分0.164。实验证明轻量化、定制化推理策略在算力受限多模态问答基准上可取得顶尖效果。核心贡献针对QANTA双任务设计差异化双智能体问答架构提出适配增量线索场景的置信度校准推理、数值防护策略在官方竞赛环境完成完整消融与结果实证分析。1 引言QANTA 2026面向知识竞赛场景搭建多模态问答评测体系模型需要根据逐段递进的金字塔式线索配套图像完成推理。传统VQA基准一次性给出完整上下文而QANTA要求模型在信息持续增量的过程中动态更新判断、自主选择作答时机因此置信度校准、轻量化推理与答案准确率同等关键。竞赛划分两类互补任务抢答题线索分段逐步展示提前作答收益更高但错误会扣分需要权衡时机与正确率部分题目附带图像需融合图文信息附加题一次性提供全部上下文侧重精准答案输出、置信度可信度、人机协同采纳效果同样支持多模态输入。两类任务优化目标完全不同因此本文提出两套专用智能体分别适配轻量化增量推理、深度结构化多模态推理。整套方案无需检索工具与模型集成仅依靠提示工程与推理规则优化最终总分登顶竞赛榜单。2 任务概述2.1 抢答题Tossup题目采用金字塔式递进线索前期线索特征模糊、辨识度低后期线索信息明确。模型可任意阶段触发抢答buzz形成收益-惩罚权衡早答加分高但误答扣分。部分题目附带图片画作、地图、科学图表、带文字截图等需要融合图文证据。核心难点在信息不完备时判断是否具备充足证据作答。2. 附加题Bonus多分段复合题型开头前置导语leadin统一全题主题、实体关联。完整上下文一次性提供无需抉择作答时机核心目标精准答案、推理可解释、输出便于人类队长采信。题目同样可附带图像作为补充证据评测引入人机协同指标AI输出仅作为人类参考建议。2. 评测指标体系抢答题指标期望得分、抢答精度、平均抢答位置、胜率优于其余选手占比、推理算力开销。附加题指标附加效益分Bonus Effect综合正确率人机采纳、单小题正确率、整题正确率、置信度匹配度、人类采纳率。统一约束推理延迟、API调用token总量、推理成本作为算力约束指标。3 系统整体架构整体分为两条独立推理链路抢答题链路输入流式文本可选图像 → GPT-4.1-mini智能体 → 证据路由、置信度校准、数值防火墙、期望收益决策 → 触发抢答/等待下一线索附加题链路完整图文输入 → GPT-4.1智能体 → 主题前置推理、多模态证据融合 → 输出答案简短证据说明。3.1 三大设计原则任务专用化两类任务优化目标不同分开建模不使用统一提示模板置信度优先校准模型预测可信度避免过度自信误触发抢答轻量化多模态融合文本生成候选图像仅做校验消歧减少图文并行推理开销。3.2 抢答题智能体流程逐段接收增量线索每轮输出答案0~1数值置信度P(correct)P(\text{correct})P(correct)基于期望收益公式判断是否抢答搭配数值推理防护墙抑制数值线索过度自信。3.3 附加题智能体流程先解析导语锁定全局主题约束再逐段推理采用晚融合多模态策略文本生成候选图像交叉核验修正置信度输出精简答案简短证据提升人类采纳率。3.4 多模态证据路由策略不将图文同等权重处理文本作为核心假设来源图像仅做辅助消歧。推理流程文本生成候选集合 → 图像信息交叉校验 → 匹配则提升置信冲突则降低置信大幅减少无意义多模态计算。4 抢答题专用智能体Glint4.1 基座选型选用GPT-4.1-mini兼顾推理速度、API成本与基础准确率抢答题需要数十轮增量迭代推理轻量化模型是算力约束下最优选择。智能体设定为专业知识竞赛选手每轮新增线索更新候选答案避免依靠少量模糊线索下定论。图像仅作为辅助校验不主导推理。4.2 置信度校准抢答决策核心决策公式EVP(正确)−0.5×P(错误)EV P(\text{正确}) - 0.5 \times P(\text{错误})EVP(正确)−0.5×P(错误)EV代表期望收益匹配竞赛扣分规则答错扣一半答对得分。硬性置信门限仅当模型输出置信P(correct)≥0.90P(\text{correct}) \ge 0.90P(correct)≥0.90时才允许抢答。开发集实验证明0.9以下置信对应的假设极不稳定容易误判。4.3 数值推理防火墙Numeric Firewall模型常见失效模式仅依靠孤立数字、公式、测量值就给出高置信预测提前抢答扣分。防护规则仅当数值线索满足以下任一配套上下文时置信度才允许提升至0.9以上配套专属实体名称完整公式体系多条独立线索指向同一结论。纯数字线索仅保留基础低置信杜绝仅凭数值过度自信抢答。4.4 迭代优化与典型错误三版迭代优化路径优化目标从单纯正确率改为期望收益最大化增加数值防火墙修复理科类误抢答上调置信门限降低模糊线索误触发。高频错误模糊主题线索提前抢答、近义实体混淆、孤立数字高置信通过置信门限、线索判别提示词缓解。4.5 抢答题官方评测结果表1 抢答题完整指标指标数值期望总得分0.238抢答精度72.5%触发抢答题目占比94.2%平均抢答线索位置60.558胜率71.1%官方评测总API成本0.14美元整套轻量化模型推理成本极低覆盖94.2%题目且保持72.5%抢答精准度。5 附加题专用智能体Guild5.1 基座选型采用完整版GPT-4.1附加题无需多轮增量推理更看重长文本关联、多模态细粒度消歧、可解释输出大模型推理能力收益更高。智能定位为答案检索消歧工具输出结构化精简内容。5.2 前置主题感知推理优先解析导语锁定全题统一主题、实体类别约束后续每小题候选答案范围避免跨主题混淆大幅提升多分段题目一致性。5.3 多模态晚融合流水线文本线索生成候选答案集合解析图像图表、画作、OCR文字交叉核验所有候选图像佐证则提升置信矛盾则剔除候选。图像仅做二次校验不独立生成假设节省算力。5.4 人机采纳优化设计人类队长仅参考AI输出冗长、模糊解释会降低采信率。约束输出规范核心答案前置附带简短证据与明确置信分数剔除冗余修饰语句便于快速核验。5.5 迭代优化与典型缺陷初代版本解释文本冗长采纳率偏低迭代后精简结构化输出同时增加实体消歧逻辑。多模态类错误通过图文交叉校验缓解。5.6 附加题官方评测结果表2 附加题完整指标指标数值附加效益分0.164单小题正确率89.1%整题正确率72.7%置信匹配度88.2%人类采纳率33.8%高置信匹配度说明模型可信度符合人类判断标准33.8%采纳率证明输出具备实用参考价值。6 完整竞赛综合实验6.1 实验环境基于QANTA 2026官方托管API评测平台两套智能体分别提交版本抢答题QANTA41Mini_V1、附加题QANTA41_Bonus_V1所有推理调用官方托管模型API无本地微调、无第三方检索工具。6.2 总榜单成绩表3 综合榜单指标数值总排名第1名综合总分0.402抢答题期望得分0.238附加效益分0.164附加题单小题正确率89.1%附加题人类采纳率33.8%第二名综合得分0.370本方案领先0.032分。7 误差分析与实验讨论7.1 置信度门限消融实验开发集消融表4证明门限直接决定抢答精度与期望收益置信门限抢答精度平均抢答位置单题期望得分0.7525%25-0.20.8575%390.00.90100%480.5低门限容易依据模糊线索误答扣分0.9保守门限虽然抢答位置偏后但收益稳定最优。模型0.8~0.85区间置信不可靠极易随新增线索推翻原有判断。7.2 近义实体混淆问题竞赛高频难点前期线索仅给出大类主题多个近义实体均符合描述模型容易提前锁定错误同类实体文学人物、宗教派系、历史时期。解决方案提示词强化独有区分线索优先无唯一标识时保持低置信、延后抢答。7.3 核心实验结论抢答题场景中置信度校准优先级高于单纯答案正确率轻量化专用提示策略效果优于复杂长推理链路多模态采用“文本为主、图像辅助校验”融合方案算力效率更高领域专用防护规则数值防火墙可针对性修复模型系统性错误。8 结论本文针对QANTA 2026知识竞赛多模态问答任务设计双任务专用智能体架构轻量化GPT-4.1-mini抢答题智能体搭配置信度校准、数值防火墙实现增量线索下稳定抢答决策完整版GPT-4.1附加智能体依托主题前置推理、图文晚融合输出高采信度结构化答案。整套方案无需检索、模型集成仅依靠定制推理规则综合得分0.402登顶竞赛榜单。误差分析证明置信度校准、实体消歧、轻量化多模态融合是增量问答场景三大核心优化方向。未来可进一步优化细粒度实体区分、自适应动态置信门限、更强数值推理防护。附录 完整复现、工程实现细节A.1 基座模型分配Glint抢答题智能体GPT-4.1-mini适配多轮增量低延迟推理Guild附加题智能体GPT-4.1完整版负责多段长文本、多模态深度推理。A.2 智能体核心职责Glint 抢答题智能逐段读取增量线索更新候选答案输出置信分满足0.9门限触发抢答内置数值防火墙抑制纯数字高置信。Guild 附加智能解析导语锁定全局主题图文交叉核验输出精简答案简短可解释证据优化人类采纳率。A.3 提示词设计三大准则独有区分线索优先推理弱化宽泛主题关联答案前置、解释精简降低人类阅读成本先解析全局导语约束全题答案语义范围。A.4 置信决策完整规则模型输出P(correct)P(\text{correct})P(correct)仅作为决策参考非严格概率抢答硬性阈值0.9低于阈值持续等待下一段线索。A.5 数值防火墙完整规则仅存在命名实体/完整公式/多条独立佐证时置信允许突破基础阈值孤立数字、测量值不允许高置信抢答。A.6 多模态晚融合完整流程文本线索生成候选实体集合解析图像OCR、图表、画风等信息图像匹配候选→提升置信图像冲突→剔除候选交叉核验后输出最终答案与置信。A.7 评测环境说明全部推理运行QANTA官方托管API不本地部署模型抢答题逐段流式输入附加题一次性完整图文输入。A.8 补充竞赛统计表5智能体统计指标数值Glint抢答获胜题目总数37Glint抢答单题答题正确率78.4%Guild附加整题正确率71.2Glint取得竞赛最多抢答获胜题量Guild稳定保障附加题正确率两套智能体互补达成总分第一。
