RAG解决复杂问题—多跳推理

“ RAG多跳推理是解决复杂问题的基础来源于人类分步解决复杂问题的过程。”大家开发RAG系统是不是都是用户提问题拿着问题向量化然后去知识库中做相似度检索然后直接回复问题查到了就查到了没查到就没查到。比如说对简单的业务场景公司的产品产品说明文档你问某某产品怎么用这时使用问题去做相似度检索就能准确检索到某个产品的说明然后问题解决。但是不知道你是否考虑过这种问题某某产品的老板是谁这个时候通过简单的相似度召回就很难解决问题了因为在产品说明书上最多介绍产品上某某公司生产的而不会说老板是谁。这时候应该怎么办面对这种相对复杂的问题就需要多跳推理技术来解决简单来说就像我们普通人解决复杂问题需要拆分分步骤解决。第一步先根据某某产品去检索其生产企业然后再根据企业名称去检索企业信息获取到老板信息面对这样的问题就需要分两步处理如果面对更复杂的问题可能需要三步或更多这个过程就叫做多跳推理。多跳推理什么叫多跳推理多跳推理是指问题的答案依赖多个逻辑关联的知识片段需要先处理第一个逻辑关系再处理第二个逻辑关系以此推类直到获取最终结果。本质上来说多跳推理其实就是一个链式RAG每个节点的输出都是下一个节点的输入下一个节点依赖于上一个节点的输出因此如果一旦某个节点出现问题那么最终的结果肯定会出问题。举个生动的例子问题ChatGPT的开发公司CEO是谁第1跳检索ChatGPT开发公司 → 得到OpenAI第2跳检索OpenAI CEO → 得到Sam Altman答案Sam Altman传统RAG假设一次检索就能命中答案而多跳问答承认复杂问题需要分步破解。但是在多跳推理中有三个必须要解决的问题问题分解模型怎么知道应该把用户问题分解成几个问题检索顺序模型分解问题之后需要按顺序检索如果顺序错乱那么结果肯定就乱了结果融合由于多跳推理需要经过多个步骤也就是多次检索但每次检索结果都可能存在噪音因此怎么把多次检索的结果合并成一个连贯的推理过程以上三个问题不解决那么多跳推理就只是一个概念即使勉强做出来结果往往也差强人意。解决方案方案一迭代检索这是最简单也是最直接的方案简单来说就是把多跳检索变成一个循环让模型自己去分析问题然后做检索然后分析再检索再分析直到最终结果。工作原理用原始问题做第一次检索把检索结果交给LLM判断信息够不够回答问题如果不够让LLM生成下一个查询问题继续检索重复直到信息充足或达到最大迭代次数优点灵活性强不需要预先规划推理路径适合推理路径不固定、探索性强的场景缺点容易陷入无效循环每次判断都要调用LLM延迟较高难以调试推理过程是黑盒方案二查询分解Query Decomposition这是一种提前规划的思路让LLM先把复杂问题一次性拆解成子问题序列然后按照依赖关系逐个执行检索。工作原理让LLM把原始问题拆成有依赖关系的子问题按照依赖顺序逐个检索每次检索都把前序答案拼接到当前查询中最后聚合所有子问题的答案优点推理路径清晰可控便于调试和优化可以并行执行无依赖关系的子问题加速检索适合模式固定的多跳场景缺点对问题分解的准确性要求很高如果第一步拆解错了后面全错难以处理动态调整推理路径的场景方案三图推理Graph-based Reasoning这种方案把知识库预处理成实体关系图把检索问题转化为图遍历问题。工作原理把知识库构建成实体关系图三元组实体→关系→实体从问题中提取起始实体和目标类型在图上进行多跳遍历寻找连接路径把路径上的实体和关系组合成答案优点推理路径可解释性强可以利用图算法优化检索效率适合知识边界清晰、实体关系稳定的领域缺点构建和维护知识图谱的成本很高对非结构化文本处理能力弱适合医疗诊断、法律咨询等专业场景不适合通用问答方案四Agent框架这是最前沿的方案把整个多跳推理过程建模成Agent的规划和执行过程。工作原理Agent制定推理计划需要哪些工具执行顺序是什么调用不同工具检索、计算、API调用等逐步执行每一步都有反思和修正机制最终输出答案优点能力上限很高可以处理非常复杂的推理任务支持工具调用不仅限于检索可以自主规划和纠错缺点工程复杂度最高需要解决工具调用的可靠性、异常处理、成本控制等问题适合对准确性要求极高的核心业务方案一和方案四从本质上来说其实差不多只不过方案四借助Agent的能力会有更强的检索能力和处理复杂问题的能力。学习资源推荐如果你想更深入地学习大模型以下是一些非常有价值的学习资源这些资源将帮助你从不同角度学习大模型提升你的实践能力。一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能​因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示​因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取四、AI大模型商业化落地方案作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。