LangChain是一个围绕大语言模型LLMs构建的框架旨在简化LLMs应用的开发。它提供通用接口将LLMs相关组件“链接”在一起降低开发难度。主要功能包括优化提示词、调用模型、管理会话历史、文档索引和智能体构建。文章还介绍了如何部署LangChain包括安装命令和环境配置。此外文章深入探讨了RAG检索增强生成技术这是一种利用外部文档提升生成结果质量的方法通过索引、检索和生成三个阶段实现。向量嵌入和余弦相似度等技术在RAG中发挥关键作用帮助提高语义匹配的效率和精度。Langchain简介LangChain由Harrison Chase创建于2022年10月它是围绕LLMs(大语言模型)建立的一个框架。LangChain自身并不开发LLMs它的核心理念是为各种LLMs实现通用的接口把LLms相关的组件“链接”在一起简化LLMs应用的开发难度方便开发者快速地开发复杂的LLMs应用。Langchain是一个开发LLM相关业务功能的集大成者是一个Python的第三方库提供了各种功能的API。主要功能Prompts优化提示词(提示词工程)Model调用各类模型History管理会话历史记录Indexes管理和分析各类文档Chains构建功能的执行链条Agent构建智能体环境部署安装命令pip install langchain langchain-community langchain-ollama dashscope chromadb -i https://pypi.tuna.tsinghua.edu.cn/simplelangchain核心包langchain-community社区支持包提供了更多的第三方模型调用langchain-ollamaOllama支持包支持调用Ollama托管部署的本地模型dashscope阿里云通义千问的Python SDKchromadb轻量向量数据库云服务器安装完有个警告ai说建议用虚拟环境WARNING: Running pip as the root user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv跟着ai回答解决一下先删除装过的pip uninstall -y langchain langchain-community langchain-ollama dashscope chromadb创建虚拟环境python3 -m venv myenv提示有个python3-venv包没有The virtual environment was not created successfully because ensurepip is notavailable. On Debian/Ubuntu systems, you need to install the python3-venvpackage using the following command.装上python3-venvapt install -y python3-venv进入虚拟环境python3 -m venv myenvsource myenv/bin/activate前面有个myenv就表示是虚拟环境了(myenv) rootVM-0-11-ubuntu:~#重新安装pip install langchain langchain-community langchain-ollama dashscope chromadb -i https://pypi.tuna.tsinghua.edu.cn/simple好了没告警了验证是否成功。(myenv) rootVM-0-11-ubuntu:~# python3Python 3.10.12 (main, Mar 3 2026, 11:56:32) [GCC 11.4.0] on linuxType help, copyright, credits or license for more information. import langchainRAG介绍通用的大模型存在一些问题LLM的知识不是实时的模型训练好后不具备自动更新知识的能力会导致部分信息滞后LLM领域知识是缺乏的大模型的知识来源于训练数据这些数据主要来自公开的互联网与开源数据集无法覆盖特定领域或高度专业化的内部知识幻觉问题LLM有时会在回答中生成看似合理但实际上是错误的信息数据安全性RAG全称Retrieval Augmented Generation简称检索增强生成技术利用检索外部文档提升生成结果质量。为大模型提供了从特定数据源检索到的信息一次来修正和补充生成的答案。可以总结为一个公式RAG工作原理RAG工作分为两条线离线工作线和在线工作线离线流程加载私有文档、分隔、向量化后存入向量库。在线流程用户提问时检索向量库生成优化的提示词再向大模型提问。RAG标准流程RAG标准流程由索引Indexing、检索Retriever和生成Generation三个核心阶段组成索引阶段通过处理多种来源、多种格式的文档提取其中文本将其切分为标准长度的文本块Chunk并进行嵌入向量化embedding向量存储在向量数据库中vector database中加载文件内容提取文本切割形成chunk文本向量化存向量数据库检索阶段用户输入的查询query被转化为向量表示通过相似度匹配从向量数据库中检索出最相关的文档query向量化在文本向量中匹配出与问句向量相似的向量生成阶段检索到的相关文本与原始查询共同构成提示词Prompt输入大语言模型LLM生成精确且具备上下文关联的回答匹配出的文本作为上下文和问题一起添加到prompt中提交给LLM生成答案关于向量文本嵌入模型(如text-embedding-v1)通过深度学习技术从文本提取语义特征并映射为固定长度的数字序列。向量嵌入的过程一般选择合适的文本嵌入模型来完成。在向量匹配的过程中如何识别2段文本是否表示相似的含义主要可以通过如余弦相似度等算法来完成。由此可通过精确的数学计算去匹配两段文本是否是同一个意思提高语义匹配的效率和精度。如何更为精准的完成语义匹配生成向量的维度是一个很重要的特征。如text-embedding-v1模型可以生成1536维的向量(一段固定文本得到1536个数字序列)比较实用。1536个数字表示这段文本在1536个主题抽象的语义特征上的得分生成的向量的维度越多就更好的记录文本的语义特征做语义匹配会更加精准更多的向量会在计算、存储和匹配过程中带来更大的压力。选择合适的向量维度需要在精确和性能之间做平衡。余弦相似度向量的数字序列共同决定了向量在高维空间中的方向和长度。而余弦相似度主要就是撇除长度的影响得到方向的夹角。夹角越小越相似即方向相同。余弦相似度两个向量的点积➗️两个向量模长的乘积点积公式推导假设向量a的坐标是(x1, y1)向量b的坐标是(x2, y2)那么有代入就有已知点积的计算公式是a的模长和b的模长的计算公式是整理有和差角公式使用余弦定理推的余弦定理是根据勾股定理a^2 b^2 c^2和c*sinθ a推导的。画个三角形从一个点作垂线把三角形划分成两个直角三角形把其中一个直角三角形的两边用a、b、c以及sinθ或者cosθ表示再用勾股定理就能推出来。常用的三角函数公式一、基本定义二、同角基本关系平方关系三、诱导公式常用四、和差角公式五、二倍角公式六、降幂公式七、辅助角公式八、正弦定理 余弦定理正弦定理余弦定理九、向量夹角余弦公式高纬点积公式推导欧几里得空间下两个角度的“点积”在几何中两个向量的点积原始定义是其中\mathbf{a},\mathbf{b} 为 n 维向量|\mathbf{a}|,|\mathbf{b}| 为模长\theta 为两向量夹角而坐标下的计算公式是下面推导为什么这两个式子等价。从余弦定理出发对由构成的三角形由余弦定理移项得到几何点积展开模长坐标定义设模长定义差向量模长平方代入余弦定理变形公式最终结论几何定义与坐标定义完全一致因此高维夹角公式自然成立整条逻辑链勾股定理→ 余弦定理→ 二维点积几何定义→ 推广到 n 维坐标展开→ 高维点积公式→ 向量余弦相似度高纬点积严谨推导柯西-施瓦茨不等式与高维点积公式推导这俺就看不懂了先贴出来以后看吧柯西-施瓦茨不等式Cauchy–Schwarz对任意 n 维实向量有写成向量形式开方为什么需要它因为我们在高维空间看不见角度不能画图所以先代数定义点积再由柯西-施瓦茨得这个范围正好是的值域所以我们才能合法定义柯西-施瓦茨最简证明配方法构造关于实数 t 的二次函数展开二次函数恒非负 → 判别式 ≤ 0约掉 4就是柯西-施瓦茨不等式。完整逻辑链严谨版定义 n 维向量点积用配方法证明 柯西-施瓦茨得到比值落在 [-1,1]定义该比值为夹角余弦两个证明区分几何版从余弦定理推直观好懂但只适合低维。柯西版纯代数证明高维严格成立是现代线性代数的标准做法。最后唠两句为什么AI大模型成为越来越多程序员转行就业、升职加薪的首选很简单这些岗位缺人且高薪智联招聘的最新数据给出了最直观的印证2025年2月AI领域求职人数同比增幅突破200% 远超其他行业平均水平整个人工智能行业的求职增速达到33.4%位居各行业榜首其中人工智能工程师岗位的求职热度更是飙升69.6%。AI产业的快速扩张也让人才供需矛盾愈发突出。麦肯锡报告明确预测到2030年中国AI专业人才需求将达600万人人才缺口可能高达400万人这一缺口不仅存在于核心技术领域更蔓延至产业应用的各个环节。那0基础普通人如何学习大模型 深耕科技一线十二载亲历技术浪潮变迁。我见证那些率先拥抱AI的同行如何建立起效率与薪资的代际优势。如今我将积累的大模型面试真题、独家资料、技术报告与实战路线系统整理分享于此为你扫清学习困惑共赴AI时代新程。我整理出这套 AI 大模型突围资料包【允许白嫖】✅从入门到精通的全套视频教程✅AI大模型学习路线图0基础到项目实战仅需90天✅大模型书籍与技术文档PDF✅各大厂大模型面试题目详解✅640套AI大模型报告合集✅大模型入门实战训练这份完整版的大模型 AI 学习和面试资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】①从入门到精通的全套视频教程包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图0基础到项目实战仅需90天全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤640套AI大模型报告合集⑥大模型入门实战训练如果说你是以下人群中的其中一类都可以来智泊AI学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界。业务赋能 突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型。获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】
Langchain环境搭建和RAG简介
LangChain是一个围绕大语言模型LLMs构建的框架旨在简化LLMs应用的开发。它提供通用接口将LLMs相关组件“链接”在一起降低开发难度。主要功能包括优化提示词、调用模型、管理会话历史、文档索引和智能体构建。文章还介绍了如何部署LangChain包括安装命令和环境配置。此外文章深入探讨了RAG检索增强生成技术这是一种利用外部文档提升生成结果质量的方法通过索引、检索和生成三个阶段实现。向量嵌入和余弦相似度等技术在RAG中发挥关键作用帮助提高语义匹配的效率和精度。Langchain简介LangChain由Harrison Chase创建于2022年10月它是围绕LLMs(大语言模型)建立的一个框架。LangChain自身并不开发LLMs它的核心理念是为各种LLMs实现通用的接口把LLms相关的组件“链接”在一起简化LLMs应用的开发难度方便开发者快速地开发复杂的LLMs应用。Langchain是一个开发LLM相关业务功能的集大成者是一个Python的第三方库提供了各种功能的API。主要功能Prompts优化提示词(提示词工程)Model调用各类模型History管理会话历史记录Indexes管理和分析各类文档Chains构建功能的执行链条Agent构建智能体环境部署安装命令pip install langchain langchain-community langchain-ollama dashscope chromadb -i https://pypi.tuna.tsinghua.edu.cn/simplelangchain核心包langchain-community社区支持包提供了更多的第三方模型调用langchain-ollamaOllama支持包支持调用Ollama托管部署的本地模型dashscope阿里云通义千问的Python SDKchromadb轻量向量数据库云服务器安装完有个警告ai说建议用虚拟环境WARNING: Running pip as the root user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv跟着ai回答解决一下先删除装过的pip uninstall -y langchain langchain-community langchain-ollama dashscope chromadb创建虚拟环境python3 -m venv myenv提示有个python3-venv包没有The virtual environment was not created successfully because ensurepip is notavailable. On Debian/Ubuntu systems, you need to install the python3-venvpackage using the following command.装上python3-venvapt install -y python3-venv进入虚拟环境python3 -m venv myenvsource myenv/bin/activate前面有个myenv就表示是虚拟环境了(myenv) rootVM-0-11-ubuntu:~#重新安装pip install langchain langchain-community langchain-ollama dashscope chromadb -i https://pypi.tuna.tsinghua.edu.cn/simple好了没告警了验证是否成功。(myenv) rootVM-0-11-ubuntu:~# python3Python 3.10.12 (main, Mar 3 2026, 11:56:32) [GCC 11.4.0] on linuxType help, copyright, credits or license for more information. import langchainRAG介绍通用的大模型存在一些问题LLM的知识不是实时的模型训练好后不具备自动更新知识的能力会导致部分信息滞后LLM领域知识是缺乏的大模型的知识来源于训练数据这些数据主要来自公开的互联网与开源数据集无法覆盖特定领域或高度专业化的内部知识幻觉问题LLM有时会在回答中生成看似合理但实际上是错误的信息数据安全性RAG全称Retrieval Augmented Generation简称检索增强生成技术利用检索外部文档提升生成结果质量。为大模型提供了从特定数据源检索到的信息一次来修正和补充生成的答案。可以总结为一个公式RAG工作原理RAG工作分为两条线离线工作线和在线工作线离线流程加载私有文档、分隔、向量化后存入向量库。在线流程用户提问时检索向量库生成优化的提示词再向大模型提问。RAG标准流程RAG标准流程由索引Indexing、检索Retriever和生成Generation三个核心阶段组成索引阶段通过处理多种来源、多种格式的文档提取其中文本将其切分为标准长度的文本块Chunk并进行嵌入向量化embedding向量存储在向量数据库中vector database中加载文件内容提取文本切割形成chunk文本向量化存向量数据库检索阶段用户输入的查询query被转化为向量表示通过相似度匹配从向量数据库中检索出最相关的文档query向量化在文本向量中匹配出与问句向量相似的向量生成阶段检索到的相关文本与原始查询共同构成提示词Prompt输入大语言模型LLM生成精确且具备上下文关联的回答匹配出的文本作为上下文和问题一起添加到prompt中提交给LLM生成答案关于向量文本嵌入模型(如text-embedding-v1)通过深度学习技术从文本提取语义特征并映射为固定长度的数字序列。向量嵌入的过程一般选择合适的文本嵌入模型来完成。在向量匹配的过程中如何识别2段文本是否表示相似的含义主要可以通过如余弦相似度等算法来完成。由此可通过精确的数学计算去匹配两段文本是否是同一个意思提高语义匹配的效率和精度。如何更为精准的完成语义匹配生成向量的维度是一个很重要的特征。如text-embedding-v1模型可以生成1536维的向量(一段固定文本得到1536个数字序列)比较实用。1536个数字表示这段文本在1536个主题抽象的语义特征上的得分生成的向量的维度越多就更好的记录文本的语义特征做语义匹配会更加精准更多的向量会在计算、存储和匹配过程中带来更大的压力。选择合适的向量维度需要在精确和性能之间做平衡。余弦相似度向量的数字序列共同决定了向量在高维空间中的方向和长度。而余弦相似度主要就是撇除长度的影响得到方向的夹角。夹角越小越相似即方向相同。余弦相似度两个向量的点积➗️两个向量模长的乘积点积公式推导假设向量a的坐标是(x1, y1)向量b的坐标是(x2, y2)那么有代入就有已知点积的计算公式是a的模长和b的模长的计算公式是整理有和差角公式使用余弦定理推的余弦定理是根据勾股定理a^2 b^2 c^2和c*sinθ a推导的。画个三角形从一个点作垂线把三角形划分成两个直角三角形把其中一个直角三角形的两边用a、b、c以及sinθ或者cosθ表示再用勾股定理就能推出来。常用的三角函数公式一、基本定义二、同角基本关系平方关系三、诱导公式常用四、和差角公式五、二倍角公式六、降幂公式七、辅助角公式八、正弦定理 余弦定理正弦定理余弦定理九、向量夹角余弦公式高纬点积公式推导欧几里得空间下两个角度的“点积”在几何中两个向量的点积原始定义是其中\mathbf{a},\mathbf{b} 为 n 维向量|\mathbf{a}|,|\mathbf{b}| 为模长\theta 为两向量夹角而坐标下的计算公式是下面推导为什么这两个式子等价。从余弦定理出发对由构成的三角形由余弦定理移项得到几何点积展开模长坐标定义设模长定义差向量模长平方代入余弦定理变形公式最终结论几何定义与坐标定义完全一致因此高维夹角公式自然成立整条逻辑链勾股定理→ 余弦定理→ 二维点积几何定义→ 推广到 n 维坐标展开→ 高维点积公式→ 向量余弦相似度高纬点积严谨推导柯西-施瓦茨不等式与高维点积公式推导这俺就看不懂了先贴出来以后看吧柯西-施瓦茨不等式Cauchy–Schwarz对任意 n 维实向量有写成向量形式开方为什么需要它因为我们在高维空间看不见角度不能画图所以先代数定义点积再由柯西-施瓦茨得这个范围正好是的值域所以我们才能合法定义柯西-施瓦茨最简证明配方法构造关于实数 t 的二次函数展开二次函数恒非负 → 判别式 ≤ 0约掉 4就是柯西-施瓦茨不等式。完整逻辑链严谨版定义 n 维向量点积用配方法证明 柯西-施瓦茨得到比值落在 [-1,1]定义该比值为夹角余弦两个证明区分几何版从余弦定理推直观好懂但只适合低维。柯西版纯代数证明高维严格成立是现代线性代数的标准做法。最后唠两句为什么AI大模型成为越来越多程序员转行就业、升职加薪的首选很简单这些岗位缺人且高薪智联招聘的最新数据给出了最直观的印证2025年2月AI领域求职人数同比增幅突破200% 远超其他行业平均水平整个人工智能行业的求职增速达到33.4%位居各行业榜首其中人工智能工程师岗位的求职热度更是飙升69.6%。AI产业的快速扩张也让人才供需矛盾愈发突出。麦肯锡报告明确预测到2030年中国AI专业人才需求将达600万人人才缺口可能高达400万人这一缺口不仅存在于核心技术领域更蔓延至产业应用的各个环节。那0基础普通人如何学习大模型 深耕科技一线十二载亲历技术浪潮变迁。我见证那些率先拥抱AI的同行如何建立起效率与薪资的代际优势。如今我将积累的大模型面试真题、独家资料、技术报告与实战路线系统整理分享于此为你扫清学习困惑共赴AI时代新程。我整理出这套 AI 大模型突围资料包【允许白嫖】✅从入门到精通的全套视频教程✅AI大模型学习路线图0基础到项目实战仅需90天✅大模型书籍与技术文档PDF✅各大厂大模型面试题目详解✅640套AI大模型报告合集✅大模型入门实战训练这份完整版的大模型 AI 学习和面试资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】①从入门到精通的全套视频教程包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图0基础到项目实战仅需90天全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤640套AI大模型报告合集⑥大模型入门实战训练如果说你是以下人群中的其中一类都可以来智泊AI学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界。业务赋能 突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型。获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】
