小型大语言模型舍弃68%RAG上下文，保留96%召回率并降低查询成本三分之一

如何教会小型大语言模型舍弃68%的RAG上下文2026年7月2日的研究聚焦于如何教会小型大语言模型LLM舍弃68%的检索增强生成RAG上下文同时保留96%的召回率将代理上下文精简至回答实际所需的内容。Kapa致力于构建AI助手借助大型产品知识库回答复杂问题知识库涵盖技术文档、API参考、PDF文件、论坛以及支持线程等。开发者可用检索API为代理提供产品上下文信息检索层也为端到端助手提供支持。尽管2026年关于代理是否仍需RAG存在争议但在该领域当知识库庞大复杂时RAG无可替代。检索方式多样遵循相同模式检索器找出相关文档片段生成器LLM依据片段撰写答案。本文核心是在检索器和生成器之间增加第三个步骤让小型且成本低的LLM读取问题和检索片段在昂贵模型处理前舍弃不需要的片段。这能减少约68%的上下文保留约96%的召回率扣除自身成本后降低查询成本三分之一。被忽略的片段仍会产生成本检索器如漏斗通过嵌入和关键词搜索筛选知识库重排器对候选片段排序前15左右的片段送生成器。但生成器读取的大部分内容非问题必需虽检索器目标是最大召回率相信生成器能忽略无关信息但生成器会为忽略的片段付费。在助手中检索片段占查询成本约三分之二超过答案、对话历史和系统提示成本总和。每减少一个片段查询成本约降4%。在代理中工具调用输出添加到上下文上下文迅速增长精准检索结果能为其他信息留空间减少无用上下文。关键在于召回率舍弃回答所需片段可能换得错误答案精简器优劣取决于召回率和压缩率的权衡。显而易见的解决方案并不奏效有人要求直接公开重排分数筛选片段如保留高于0.7分的片段但此方法行不通。一是重排分数只是排序非衡量标准不同查询间未校准无固定筛选阈值排序支持的筛选只能按位置选前N个会舍弃无关或答案片段二是相关性非单个片段属性重排器逐点交叉编码单独评分不考虑片段关联。如一个实际示例中第二个片段与第一个结合才有相关性但逐点评分无法发现。真正问题是片段是否属能共同回答问题的一组。一个巧妙但同样失败的解决方案曾尝试锚定文档的方法在排名中插入已知相关性的合成片段使重排器评分尺度有绝对性针对不同级别编写合成片段舍弃排名低于最低级别锚定片段的真实片段。这在已有重排基础上增加一次LLM调用设计巧妙但仍失败原因与前相同。锚定片段可解决校准问题但无法修正评分重排器仍将部分相关和间接相关片段排在无关片段之下为保留这些片段锚定片段位置需设很低几乎无法精简。这次失败启示精简操作需同时考虑问题和所有片段。因此让LLM对片段进行评分最终方法是在重排器和生成器间进行列表式LLM调用获取问题和片段按五级评分标准评分5分ESSENTIAL至关重要无此片段无法生成答案4分CONTRIBUTING有贡献单独不能回答问题但与其他片段结合提供必要信息3分SUPPORTING有支持作用与主题相关可能有用无它答案也可能完整2分TANGENTIAL有一定关联属同一领域或用相同术语但无具体贡献1分UNRELATED无关与问题无有意义关联。高于或等于阈值的片段保留此设计解决了之前的两个问题固定筛选阈值可发挥作用模型能评判整个片段集合处理部分相关和间接相关片段。有三个关键因素需考虑一是模型精简器成本从节省费用支出排除旗舰级模型选低推理成本下最快最便宜的小型快速层级模型二是阈值控制压缩率和召回率的主要参数三是保留前K个排名靠前的重排片段无论评分如何都保留防止评分错误舍弃重要片段。还测试了两种简单设计预算选择法保留前几个片段让LLM最多再添加N个输出大小可预测但预算用完会舍弃相关片段最简单的精简器直接让LLM选保留片段不使用评分标准。若方案无法胜过直接询问法则不值得采用。实验结果在标注好的真实问题上测量召回率通过在随机一个月的生产对话中重新运行配置验证压缩率、成本和延迟用实际发送给生成器的片段。每个点代表一种配置x轴表示压缩率y轴表示保留的召回率。所有方法远超基线召回率保持98%时截断法只能减少一个片段压缩率约7%基于LLM的策略能达30%以上压缩率相关性评分法能减少近一半片段评分法在各压缩级别都更优选择接近激进端的点保留约96%召回率舍弃约68%片段每25个问题有一个丢失所需片段扣除精简器成本后查询成本降低约34%。延迟成本精简器在检索和生成关键路径上运行每次查询增加一次模型调用速度决定延迟成本。生产环境中所选配置每个查询运行约0.7秒复杂设置会使延迟迅速增加用低推理成本小型模型可将额外延迟控制在1秒以内。生成过程速度提升不明显较少片段使生成器输入令牌减少响应稍提前但远不足以抵消精简器调用时间。精简操作以少量固定延迟换取压缩率所选配置下延迟远低于1秒对延迟敏感的单次查询需权衡在代理中增加一次轻量级调用影响较小。应用场景首先在检索是众多工具之一的场景部署该功能为基于检索服务构建代理的客户提供支持。代理携带多种工具每次调用输出添加到上下文文档搜索结果减少三分之二可为其他操作留空间且此场景召回率损失风险低代理可再次搜索。在产品代理SDK的知识库搜索中精简功能默认开启在检索API和MCP服务器中为可选功能。超过200家拥有复杂产品的行业领先企业信赖超过200家拥有复杂产品的行业领先企业信赖Kapa如Silicon Labs、Logitech、n8n、monday.com等。此外Kapa还可将技术文档转化为面向客户的AI助手提供免费试用。产品方面包括连接、部署、答案引擎、分析等行业涉及开发工具、半导体、软件、硬件与工业等资源有数据安全、信任中心、服务条款、隐私政策等社交平台涵盖Twitter、LinkedIn、Y Combinator等解决方案针对客户、团队、代理分别有不同内容。新功能Kapa for AI Agents可为AI代理提供完整的产品知识还可使用我的内容试用。