前沿模型系列（三）《检索增强的语言模型》

目录语言模型基础1. 语言模型分类2. 评价指标3. 典型结构RAG 技术概述1. RAG 提出背景2. RAG 基本原理3. 检索范式RAG 早期经典工作1. REALM2. Retrieval-in-context LM3. RETRO4. kNN-LM5. 对比RAG 技术发展1. 发展阶段2. 核心共识RAG 最新研究进展1. 检索过程优化2. 知识有效利用UltraRAG 开源项目介绍总结本文由九格大模型团队讲述 RAG 技术相关基础知识、技术发展历程以及最新研究进展。语言模型基础1. 语言模型分类• 自回归语言模型GPT、千问等• 掩码语言模型BERT2. 评价指标困惑度Perplexity3. 典型结构• Encoder-Decoder 架构• Encoder-only• Decoder-only 的区别RAG 技术概述1. RAG 提出背景• 预训练模型的局限性知识密集型场景、时效性信息、幻觉问题2. RAG 基本原理• 外部信息以平文本形式存在通过检索增强模型生成能力• 基础范式用户 Query → 检索知识库 → 检索信息与 Query 结合 → 模型生成回答3. 检索范式RAG 早期经典工作1. REALM• 掩码模型检索相关片段拼接后预测• 检索模型训练• 单塔与双塔模型原理• 对比学习训练 Embedding 模型• 检索后处理多次推理与概率平均• 后续工作DPR、RAG、Atlas 等面向开放域问答任务2. Retrieval-in-context LM•顺序预测模型•检索对象选择:• 查询语句长度与噪声问题• 实验分析查询语句长度对检索效果的影响•检索频率优化• 提高检索频率对模型性能的影响• 计算量与检索成本的平衡•召回文本数量影响• 召回数量与模型性能的关系• 噪声引入与性能下降问题3. RETRO4. kNN-LM5. 对比RAG 技术发展1. 发展阶段• 2022年建立 RAG 基本范式• 2023年关注检索时机与方式优化• 近期结合思维链CoT、多模态知识注入2. 核心共识• 基于 Embedding 模型的 Dense Retrieve 成为标配• 输入范式输入层直接拼接文本RAG 最新研究进展1. 检索过程优化•多轮检索难以避免噪声问题与自适应检索信息割裂缺少交互整合• 引入大模型笔记概念记录检索信息、规划检索过程、减少噪声2. 知识有效利用• 指令跟随能力在知识密集场景下的局限性• 强化训练方法DPO、GRPO 等• RAG-DDR基于 DPO 的生成链路强化调优• 后向对齐策略模块化训练与采样调节UltraRAG 开源项目介绍总结本文讲解了 RAG 技术原理、技术面临的挑战与解决方案RAG 发展历程与最新研究进展。