1. LangGraph本地模型Agent开发入门实战最近在AI Agent开发领域LangGraph这个新兴框架开始受到越来越多开发者的关注。作为一个基于有向图的工作流编排工具它特别适合构建复杂的多Agent系统。今天我就结合自己最近的一个实验项目分享一下如何用LangGraph在本地运行大语言模型(LLM)来构建一个基础Agent的完整过程。这个方案最大的特点在于完全本地化运行——从模型加载到推理计算全部在本地完成不需要调用任何云端API。对于注重数据隐私或需要定制化开发的场景特别有价值。我们将使用Ollama作为本地模型管理工具配合LangGraph实现一个具备基础问答和简单任务处理能力的Agent系统。2. 环境准备与工具选型2.1 硬件与基础软件要求要顺利运行本地大模型硬件配置是关键。根据我的实测经验最低配置16GB内存 6GB显存的NVIDIA显卡如RTX 3060推荐配置32GB内存 12GB显存以上如RTX 3090操作系统Linux(Ubuntu 22.04)或Windows 11 WSL2环境注意模型尺寸与硬件需求直接相关。7B参数的模型需要约6GB显存13B参数则需要12GB以上。如果显存不足可以启用CPU模式但速度会明显下降。2.2 核心工具链安装我们选择以下工具组合# Python环境(建议3.9) conda create -n langgraph python3.9 conda activate langgraph # 核心依赖 pip install langgraph ollama langchain这套组合的优势在于Ollama简化了本地大模型的下载和管理支持多种开源模型格式LangChain提供基础Agent能力组件LangGraph实现复杂工作流编排2.3 本地模型选择与加载通过Ollama可以方便地获取各种开源模型。对于初学建议从中小型模型开始# 下载7B参数的Mistral模型 ollama pull mistral:7b-instruct # 验证模型加载 ollama run mistral:7b-instruct 你好模型选择考量因素响应速度7B参数模型在消费级显卡上可达20 tokens/秒内存占用7B模型约需10GB内存13B模型则需要16GB任务复杂度简单问答7B足够复杂推理建议13B或更大3. LangGraph基础架构解析3.1 核心设计思想LangGraph采用了Pregel图计算模型的设计理念将Agent工作流抽象为有向图。几个关键概念Node执行单元可以是LLM调用、工具使用或条件判断Edge定义节点间的流转逻辑State在整个图中传递的共享数据容器这种设计使得复杂的工作流可以可视化表示也便于调试和优化。3.2 与LangChain的关系对比很多初学者会困惑LangGraph和LangChain的区别这里用实际代码说明# LangChain的简单Agent from langchain.agents import AgentExecutor, create_react_agent agent create_react_agent(llm, tools, prompt) AgentExecutor(agentagent, toolstools) # LangGraph的Agent from langgraph.graph import Graph workflow Graph() workflow.add_node(agent, agent_node) workflow.add_node(tools, tool_node) workflow.add_edge(agent, tools)关键差异LangChain线性执行链LangGraph图结构工作流支持分支、循环等复杂逻辑3.3 基础工作流构建让我们构建一个最简单的问答Agentfrom langgraph.graph import Graph from langchain_core.messages import HumanMessage # 定义节点 def agent_node(state): response llm.invoke(state[messages]) return {messages: [response]} # 构建图 workflow Graph() workflow.add_node(agent, agent_node) workflow.set_entry_point(agent) workflow.set_finish_point(agent) # 运行 app workflow.compile() result app.invoke({messages: [HumanMessage(content你好)]})这个基础架构已经可以实现简单的问答交互接下来我们会逐步扩展它的能力。4. 完整Agent系统实现4.1 多工具集成方案一个实用的Agent需要能够调用各种工具。我们以天气查询和计算器为例from langchain.tools import Tool def get_weather(city: str): # 模拟天气API return f{city}天气晴25℃ weather_tool Tool.from_function( nameget_weather, description查询指定城市的天气, funcget_weather ) calc_tool Tool.from_function( namecalculator, description执行数学计算, funclambda x: str(eval(x)) ) tools [weather_tool, calc_tool]4.2 工具调用节点设计在LangGraph中我们需要专门处理工具调用的节点from langchain.agents import AgentExecutor from langgraph.prebuilt import ToolNode # 工具调用节点 tool_node ToolNode(tools) # Agent节点 agent create_react_agent(llm, tools, prompt) agent_node AgentExecutor(agentagent, toolstools)4.3 条件流转逻辑实现LangGraph的强大之处在于可以定义复杂的工作流逻辑from langgraph.graph import Graph from langgraph.checkpoint import MemorySaver # 定义条件边 def should_continue(state): last_msg state[messages][-1] if tool_call in last_msg.additional_kwargs: return call_tool return end # 构建完整工作流 workflow Graph() workflow.add_node(agent, agent_node) workflow.add_node(tools, tool_node) workflow.add_edge(tools, agent) workflow.add_conditional_edges( agent, should_continue, {call_tool: tools, end: END} )这个工作流实现了Agent决定是否需要调用工具如需工具则执行并返回结果否则结束对话5. 高级技巧与优化方案5.1 记忆机制实现为了让Agent记住对话历史需要添加记忆存储from langgraph.checkpoint import MemorySaver memory MemorySaver() app workflow.compile( checkpointermemory, interrupt_before[tools] ) # 带记忆的对话 thread_id user123 app.invoke( {messages: [HumanMessage(content北京天气如何)]}, {configurable: {thread_id: thread_id}} ) app.invoke( {messages: [HumanMessage(content我是指现在)]}, {configurable: {thread_id: thread_id}} )5.2 流式输出优化本地模型响应可能较慢流式输出能显著改善用户体验from langchain.callbacks import StreamingStdOutCallbackHandler llm Ollama( modelmistral:7b-instruct, callbacks[StreamingStdOutCallbackHandler()] ) # 流式调用 for chunk in app.stream(...): print(chunk.get(messages, [])[-1].content, end)5.3 性能调优技巧通过以下方法可以提升本地模型运行效率量化加载ollama pull mistral:7b-instruct-q4_0 # 4-bit量化版本批处理将多个请求合并处理缓存机制对常见问题缓存回答模型裁剪移除不使用的模型组件6. 常见问题排查指南6.1 模型加载失败典型错误Error: couldnt load model: unavailable解决方案检查Ollama服务是否运行ollama serve确认模型名称正确ollama list确保磁盘空间充足7B模型约需4GB空间6.2 显存不足问题错误表现CUDA out of memory处理方法换用更小的模型如从7B换为3B启用CPU模式llm Ollama(..., devicecpu)调整批处理大小llm Ollama(..., batch_size1)6.3 工具调用异常调试技巧单独测试工具函数是否正常工作检查工具描述是否清晰准确在Agent调用前打印state观察输入def agent_node(state): print(DEBUG:, state) # 调试输出 ...7. 项目扩展方向这个基础框架可以进一步扩展为多Agent协作系统定义不同角色的Agent协同工作workflow.add_node(researcher, research_agent) workflow.add_node(writer, writing_agent)长期记忆集成连接向量数据库实现知识存储from langchain.vectorstores import Chroma retriever Chroma.from_documents(...).as_retriever()可视化监控使用Gradio或Streamlit构建控制面板领域专用Agent针对客服、编程等场景定制工具链在实际使用中我发现本地模型Agent的响应速度仍是主要瓶颈。通过模型量化、智能缓存和请求批处理等技术可以在保持功能完整性的同时显著提升用户体验。对于企业级应用建议考虑混合架构——将轻量级任务放在本地复杂计算使用云端大模型。
LangGraph本地大模型Agent开发实战指南
1. LangGraph本地模型Agent开发入门实战最近在AI Agent开发领域LangGraph这个新兴框架开始受到越来越多开发者的关注。作为一个基于有向图的工作流编排工具它特别适合构建复杂的多Agent系统。今天我就结合自己最近的一个实验项目分享一下如何用LangGraph在本地运行大语言模型(LLM)来构建一个基础Agent的完整过程。这个方案最大的特点在于完全本地化运行——从模型加载到推理计算全部在本地完成不需要调用任何云端API。对于注重数据隐私或需要定制化开发的场景特别有价值。我们将使用Ollama作为本地模型管理工具配合LangGraph实现一个具备基础问答和简单任务处理能力的Agent系统。2. 环境准备与工具选型2.1 硬件与基础软件要求要顺利运行本地大模型硬件配置是关键。根据我的实测经验最低配置16GB内存 6GB显存的NVIDIA显卡如RTX 3060推荐配置32GB内存 12GB显存以上如RTX 3090操作系统Linux(Ubuntu 22.04)或Windows 11 WSL2环境注意模型尺寸与硬件需求直接相关。7B参数的模型需要约6GB显存13B参数则需要12GB以上。如果显存不足可以启用CPU模式但速度会明显下降。2.2 核心工具链安装我们选择以下工具组合# Python环境(建议3.9) conda create -n langgraph python3.9 conda activate langgraph # 核心依赖 pip install langgraph ollama langchain这套组合的优势在于Ollama简化了本地大模型的下载和管理支持多种开源模型格式LangChain提供基础Agent能力组件LangGraph实现复杂工作流编排2.3 本地模型选择与加载通过Ollama可以方便地获取各种开源模型。对于初学建议从中小型模型开始# 下载7B参数的Mistral模型 ollama pull mistral:7b-instruct # 验证模型加载 ollama run mistral:7b-instruct 你好模型选择考量因素响应速度7B参数模型在消费级显卡上可达20 tokens/秒内存占用7B模型约需10GB内存13B模型则需要16GB任务复杂度简单问答7B足够复杂推理建议13B或更大3. LangGraph基础架构解析3.1 核心设计思想LangGraph采用了Pregel图计算模型的设计理念将Agent工作流抽象为有向图。几个关键概念Node执行单元可以是LLM调用、工具使用或条件判断Edge定义节点间的流转逻辑State在整个图中传递的共享数据容器这种设计使得复杂的工作流可以可视化表示也便于调试和优化。3.2 与LangChain的关系对比很多初学者会困惑LangGraph和LangChain的区别这里用实际代码说明# LangChain的简单Agent from langchain.agents import AgentExecutor, create_react_agent agent create_react_agent(llm, tools, prompt) AgentExecutor(agentagent, toolstools) # LangGraph的Agent from langgraph.graph import Graph workflow Graph() workflow.add_node(agent, agent_node) workflow.add_node(tools, tool_node) workflow.add_edge(agent, tools)关键差异LangChain线性执行链LangGraph图结构工作流支持分支、循环等复杂逻辑3.3 基础工作流构建让我们构建一个最简单的问答Agentfrom langgraph.graph import Graph from langchain_core.messages import HumanMessage # 定义节点 def agent_node(state): response llm.invoke(state[messages]) return {messages: [response]} # 构建图 workflow Graph() workflow.add_node(agent, agent_node) workflow.set_entry_point(agent) workflow.set_finish_point(agent) # 运行 app workflow.compile() result app.invoke({messages: [HumanMessage(content你好)]})这个基础架构已经可以实现简单的问答交互接下来我们会逐步扩展它的能力。4. 完整Agent系统实现4.1 多工具集成方案一个实用的Agent需要能够调用各种工具。我们以天气查询和计算器为例from langchain.tools import Tool def get_weather(city: str): # 模拟天气API return f{city}天气晴25℃ weather_tool Tool.from_function( nameget_weather, description查询指定城市的天气, funcget_weather ) calc_tool Tool.from_function( namecalculator, description执行数学计算, funclambda x: str(eval(x)) ) tools [weather_tool, calc_tool]4.2 工具调用节点设计在LangGraph中我们需要专门处理工具调用的节点from langchain.agents import AgentExecutor from langgraph.prebuilt import ToolNode # 工具调用节点 tool_node ToolNode(tools) # Agent节点 agent create_react_agent(llm, tools, prompt) agent_node AgentExecutor(agentagent, toolstools)4.3 条件流转逻辑实现LangGraph的强大之处在于可以定义复杂的工作流逻辑from langgraph.graph import Graph from langgraph.checkpoint import MemorySaver # 定义条件边 def should_continue(state): last_msg state[messages][-1] if tool_call in last_msg.additional_kwargs: return call_tool return end # 构建完整工作流 workflow Graph() workflow.add_node(agent, agent_node) workflow.add_node(tools, tool_node) workflow.add_edge(tools, agent) workflow.add_conditional_edges( agent, should_continue, {call_tool: tools, end: END} )这个工作流实现了Agent决定是否需要调用工具如需工具则执行并返回结果否则结束对话5. 高级技巧与优化方案5.1 记忆机制实现为了让Agent记住对话历史需要添加记忆存储from langgraph.checkpoint import MemorySaver memory MemorySaver() app workflow.compile( checkpointermemory, interrupt_before[tools] ) # 带记忆的对话 thread_id user123 app.invoke( {messages: [HumanMessage(content北京天气如何)]}, {configurable: {thread_id: thread_id}} ) app.invoke( {messages: [HumanMessage(content我是指现在)]}, {configurable: {thread_id: thread_id}} )5.2 流式输出优化本地模型响应可能较慢流式输出能显著改善用户体验from langchain.callbacks import StreamingStdOutCallbackHandler llm Ollama( modelmistral:7b-instruct, callbacks[StreamingStdOutCallbackHandler()] ) # 流式调用 for chunk in app.stream(...): print(chunk.get(messages, [])[-1].content, end)5.3 性能调优技巧通过以下方法可以提升本地模型运行效率量化加载ollama pull mistral:7b-instruct-q4_0 # 4-bit量化版本批处理将多个请求合并处理缓存机制对常见问题缓存回答模型裁剪移除不使用的模型组件6. 常见问题排查指南6.1 模型加载失败典型错误Error: couldnt load model: unavailable解决方案检查Ollama服务是否运行ollama serve确认模型名称正确ollama list确保磁盘空间充足7B模型约需4GB空间6.2 显存不足问题错误表现CUDA out of memory处理方法换用更小的模型如从7B换为3B启用CPU模式llm Ollama(..., devicecpu)调整批处理大小llm Ollama(..., batch_size1)6.3 工具调用异常调试技巧单独测试工具函数是否正常工作检查工具描述是否清晰准确在Agent调用前打印state观察输入def agent_node(state): print(DEBUG:, state) # 调试输出 ...7. 项目扩展方向这个基础框架可以进一步扩展为多Agent协作系统定义不同角色的Agent协同工作workflow.add_node(researcher, research_agent) workflow.add_node(writer, writing_agent)长期记忆集成连接向量数据库实现知识存储from langchain.vectorstores import Chroma retriever Chroma.from_documents(...).as_retriever()可视化监控使用Gradio或Streamlit构建控制面板领域专用Agent针对客服、编程等场景定制工具链在实际使用中我发现本地模型Agent的响应速度仍是主要瓶颈。通过模型量化、智能缓存和请求批处理等技术可以在保持功能完整性的同时显著提升用户体验。对于企业级应用建议考虑混合架构——将轻量级任务放在本地复杂计算使用云端大模型。
