Dify接入大模型

文章目录1 本地大模型接入Ollama 方案1.1 什么是 Ollama1.2 实战五步走1.2.1 安装 Ollama1.2.2 下载模型1.2.3 验证模型运行1.2.4 Dify 中配置 Ollama关键步骤1.2.5 测试2 API 大模型接入阿里云百炼方案2.1 什么是 API2.2 实战五步走2.2.1 注册阿里云账号2.2.2 登录百炼平台并实名2.2.3 获取 API Key相当于密码2.2.4 Dify 中配置 API Key2.2.5 测试3 两种方式怎么选4 总结上一篇文章我们讲了什么是Dify以及为什么要使用AI Agent。但工欲善其事必先利其器。要让 Dify 真正跑起来第一步就是要给它装上“大脑”——也就是接入大模型。大模型接入一般分为两种姿势本地私有化部署免费、隐私和云端 API 调用强大、省心。1 本地大模型接入Ollama 方案如果你想保护隐私、不想花钱、或者没有网也能用 AI本地部署是你的首选。这里我们用到的神器叫Ollama。1.1 什么是 Ollama简单说它就是本地大模型的管理员。它能帮你一键下载、安装、运行各种开源大模型比如 Llama、Qwen 等不用你折腾复杂的代码环境。1.2 实战五步走1.2.1 安装 Ollama下载地址https://ollama.com/download支持系统Windows、macOS、Linux。下载完一路“Next”安装即可。1.2.2 下载模型安装好后我们需要下载具体的模型文件。新手推荐建议先跑个小模型不然电脑风扇会疯转。推荐指令在终端或 Ollama 界面搜索qwen2.5:1.5b。注1.5b 代表 15亿参数体积小速度快适合入门测试。1.2.3 验证模型运行下载完成后直接在 Ollama 的对话框里输入问题。如果能正常回复说明你本地的“大脑”已经激活成功了。1.2.4 Dify 中配置 Ollama关键步骤这是最容易出 Bug 的地方注意看进入 Dify 后台 -设置-模型供应商。找到Ollama点击“添加模型”。填写配置模型名称填你下载的模型名如qwen2.5:1.5b。基础 URL重点如果你是Docker 部署 Dify 且在同台机器填http://host.docker.internal:11434如果是不同机器填http://你的IP地址:11434例如http://192.168.1.10:11434。1.2.5 测试在 Dify 里新建一个应用选择刚配置好的本地模型聊两句。如果通了恭喜你你的 Dify 已经拥有了一颗免费的“心脏”2 API 大模型接入阿里云百炼方案如果你觉得本地模型太笨、太慢想要体验顶级大模型如通义千问 Qwen-Max的能力那就需要用API了。2.1 什么是 API你可以把它理解为租用算力。你不用买显卡也不用维护服务器按调用次数给大厂付钱就行。2.2 实战五步走2.2.1 注册阿里云账号网址https://www.aliyun.com用手机号注册即可。2.2.2 登录百炼平台并实名网址https://www.aliyun.com/product/bailian重要必须完成实名认证。新用户通常会有一定的免费额度记得查看账户余额。2.2.3 获取 API Key相当于密码进入控制台https://bailian.console.aliyun.com/找到API Key 管理创建一个新的 Key。注意复制保存好这个 Key它只显示一次丢了就得重新建。2.2.4 Dify 中配置 API Key回到 Dify 后台 -模型供应商。找到通义千问 (Qwen)点击安装。填入刚才复制的API Key保存。2.2.5 测试同样新建一个应用这次选择qwen-max或qwen-plus之类的云端模型。你会发现它的智商明显比本地小模型高一大截。3 两种方式怎么选特性本地模型 (Ollama)API 模型 (阿里云/OpenAI)成本免费只需电费按量付费Token 计费速度取决于你的显卡极快能力较弱适合简单任务极强适合复杂推理隐私数据不出本地数据上传云端适用场景学习、涉密文档处理生产环境、复杂业务4 总结Ollama是本地跑模型的最好用的工具适合新手。API Key是调用云端算力的钥匙注意保密。Dify 的强大之处在于你可以在同一个界面里随时切换本地模型和云端模型哪个好用用哪个