Agent Framework 接入 Ollama（本地模型实践记录）

目录1. 什么是 Ollama2. 集成到 Agent Framework我们之前的案例大多是调用 Azure 上的 OpenAI 模型。如果项目不太适合上云例如涉及敏感数据或对成本、可控性有要求那么使用 Ollama 在本地运行模型会是一个更实用的方案。这一节介绍 Agent Framework 集成 Ollama 的基本方法。1. 什么是 OllamaOllama 可以理解为一个在本地运行大模型的工具。安装完成后本机会启动一个服务你可以像调用接口一样使用模型而不依赖云服务。首先需要在本地安装 Ollama。官网地址https://ollama.com/安装过程没有特别之处Windows 下基本是一路“下一步”。安装完成后界面也比较简单但有一点需要注意使用前需要先下载模型。模型体积通常不小常见从几 GB 到十几 GB。这里使用的是qwen3:1.7b。下载完成后就可以在本地直接使用。演示视频地址2. 集成到 Agent Framework接下来把 Ollama 接入 Agent Framework。安装好之后Ollama 会在本机起一个服务默认监听11434端口。你可以把它理解成一个本地的 API 服务后面不管是浏览器访问还是在代码里调用都是通过这个地址和模型交互。http://localhost:11434其实就是 Ollama 在本地启动的服务地址。在浏览器打开该地址如果看到说明服务已正常启动。随后在 Agent Framework 中配置该地址即可直接调用本地模型。需要引用如下两个包Microsoft.Agents.AI OllamaSharpdotnet add package Microsoft.Agents.AI dotnet add package OllamaSharpusing Microsoft.Agents.AI; using Microsoft.Extensions.AI; using OllamaSharp; using System.Text; Console.InputEncoding Encoding.UTF8; Console.OutputEncoding new UTF8Encoding(encoderShouldEmitUTF8Identifier: false); var endpoint http://localhost:11434/; var modelName qwen3:1.7b; AIAgent agent new OllamaApiClient(new Uri(endpoint), modelName) .AsAIAgent(instructions: 你是一位江湖说书人擅长用幽默、接地气的方式讲笑话和故事。, name: Joker); awaitforeach (var chunk in agent.RunStreamingAsync(给我讲一个发生在茶馆里的段子。)) { Console.Write(chunk); }代码运行如下演示视频地址源代码地址https://github.com/bingbing-gui/dotnet-platform/tree/master/src/09-AI-Agent/Agent-Framework/27-Agent-On-Ollama引入地址