什么是RAG？一文搞懂检索增强生成技术

你可能已经用过各种“大模型加检索”的应用AI 助手能秒答公司文档问题、客服机器人能一口气分析十几页合同、技术问答系统好像“查阅过全网资料”……但你有没有想过这些模型到底是怎么“知道”你提的问题答案的模型为什么能记住一整本文档我们把知识库接入大模型到底做了什么这一切的背后离不开三个字母RAG。这个系列将拆解构建一个 RAG 系统的全流程深入剖析每个关键步骤的逻辑、技术选型与工程落地难点此外所有相关源码示例、流程图、模型配置与知识库构建技巧我也将持续更新在 GithubLLMHub欢迎关注收藏1.前言在大语言模型LLM如ChatGPT、Claude、Gemini日益强大的今天人们希望它们不仅能“生成”还要“准确生成”。然而LLM训练的数据往往是静态的、封闭的这使得它们在面对时效性强、专业性高、上下文复杂的问题时力不从心。在有些时候企业内部或者事业部门内部的数据是不允许公开上传的那么也就没有办法享受到大模型的服务生产力也得不到解放。这时RAGRetrieval-Augmented Generation检索增强生成应运而生。它是连接“生成能力”与“外部知识”的桥梁让LLM不再是“闭门造车”而成为真正的知识型智能体。2.RAG的基本原理RAG是一种通过“先检索、后生成”的方式是一个提升语言模型生成准确性的技术框架。其核心流程如下Query输入用户提出一个问题或任务。比如我问“明天的天气怎么样”大语言模型大概率不会知道明天的天气因为训练数据时间范围是今天前。Retriever检索器从外部知识库文档、数据库、网页等中检索与问题相关的内容。我问“明天的天气怎么样”之后假设知识库里面刚好就有明天的天气信息那么就会经过检索得到对应的语料信息“明天气温50度千万不要出门”。Generator生成器将检索到的内容连同问题一起输入大语言模型让它生成更加精准、上下文丰富的回答。还是拿上面的我问“明天的天气怎么样”Generator生成器得到Retriever检索器检索到的“明天气温50度千万不要出门”和我问的问题“明天的天气怎么样”一起输入到LLM中得到回答”明天气温50度达到历史新高请您注意一定不要出门不然容易晒伤“。简单来说RAG把“我说我知道的”变成“我先当自己不知道”-看看我的背包里有什么知识-哎找到了-总结一下再说。3.为什么需要RAG大模型有知识盲点、时间滞后原因在于训练数据是静态的无法获取实时信息在专业领域如医疗、金融、法律中模型缺乏最新的、结构化的知识模型生成易产生“幻觉”hallucination即编造事实。RAG通过引入检索机制可以实时接入外部信息同时精准聚焦专业文档显著降低模型幻觉率。4.RAG的技术架构RAG的系统主要分为两个核心模块Retriever Generator可进一步细化为以下几部分1. 数据预处理与切分文档按结构或语义切分成段chunk如按标题、段落、Token窗口等不同的文档处理方法不同比如有图片pdfwordtxt等等后续会专门出一篇文章详细介绍以下不同文档的处理方法使用向量化技术如BERT、GTE等构建向量索引库向量数据库是深度学习领域专门使用的数据库具有极快的查询速度其中能够查询向量之间的相似度的特性能够很好的为RAG服务。2. 检索阶段Retrieval稀疏检索如 BM25依赖关键词匹配密集检索如DPR、ColBERT基于语义相似度混合检索Hybrid结合两者提升覆盖率与精度。3. 生成阶段Generation使用LLM如ChatGPT、LLaMA、Mistral输入“问题检索结果”生成高质量回答。RAG是一项将“语言生成”与“知识检索”紧密结合的关键技术正快速从实验室走向产业。无论是NLP工程师、产品经理还是AI应用开发者理解并掌握RAG都将为我们开启智能系统的新可能。