如果你已经成功部署了 Dify但打开界面后面对“模型供应商”和“模型”的下拉菜单却一片空白不知道如何让这个强大的 AI 应用开发框架真正“活”起来那么这篇文章就是为你准备的。很多开发者误以为部署完 Dify 就万事大吉实际上接入一个可用的大模型才是让 Dify 发挥价值的起点。没有模型Dify 只是一个空壳。本文的核心判断是Dify 的核心价值在于其低代码、可视化的 AI 应用编排能力而这一切都建立在稳定、可控的模型接入之上。选择并接入合适的模型是构建可靠 AI 应用的第一步也是最关键的一步。本文将带你从零开始彻底搞懂 Dify 的模型接入逻辑。你将学会如何接入 OpenAI、Azure、国内主流模型平台以及本地部署的模型如 Ollama理解不同接入方式的适用场景与成本考量并最终通过一个完整的对话型应用ChatBot示例验证你的模型接入是否成功。无论你是想快速体验还是为生产环境做准备这里都有清晰的路径。1. 为什么模型接入是 Dify 实践的第一道坎部署 Dify 本身并不复杂官方提供了 Docker、Git 等多种一键部署方案。然而当你兴致勃勃地打开 Dify 管理后台准备创建第一个 AI 应用时很可能会在第一步“选择模型”时卡住。下拉菜单空空如也系统提示你需要先配置模型供应商。这恰恰揭示了 Dify 的一个核心设计理念解耦应用编排与模型服务。Dify 本身不提供模型它是一个卓越的“调度中心”和“组装车间”。它的职责是帮你可视化编排通过拖拽组件定义 AI 应用的逻辑流如用户提问 → 检索知识库 → 模型生成 → 格式化输出。状态管理管理对话历史、处理复杂的状态。集成扩展连接知识库、外部 API、工作流等。而“思考”和“生成”这部分最核心的智力工作则交给外部的大模型服务来完成。因此接入模型不是可选项而是必选项。这一步的困惑主要来自几个方面选择困难模型供应商众多OpenAI、Anthropic、国内各大厂不知道选哪个。配置复杂API Key、Base URL、模型名称等参数让人眼花缭乱。本地化迷茫想用本地部署的模型保障数据隐私但不知道如何对接。成本与性能权衡如何在效果、响应速度、费用之间找到平衡点。接下来的内容我们将逐一拆解这些困惑让你不仅能配通模型更能理解背后的原理做出适合自己的选择。2. Dify 模型接入的核心概念与架构在开始动手之前我们需要理解几个关键概念这能帮你避免后续配置中的很多低级错误。2.1 模型供应商 vs. 模型这是最容易混淆的一对概念。模型供应商指的是提供模型服务的平台或公司。例如OpenAI、Azure OpenAI、百度千帆、智谱AI、Ollama本地等。在 Dify 中你需要先添加一个“供应商”并配置其连接信息如 API 地址、密钥。模型指供应商提供的具体模型实例。例如OpenAI 供应商下有gpt-4o、gpt-4-turbo、gpt-3.5-turbo等模型智谱AI 供应商下有glm-4、glm-3-turbo等。关系是一个供应商下可以配置多个模型。你需要在供应商配置中声明这个供应商支持哪些模型并为每个模型设置独立的配置项如上下文长度、单价。2.2 支持的模型类型Dify 主要支持两类模型用于不同的应用场景文本生成模型用于对话、内容创作、摘要等任务。对应 OpenAI 的ChatCompletion接口。这是最常用的类型。嵌入模型用于将文本转换为向量是构建知识库实现语义搜索的核心。对应 OpenAI 的Embeddings接口。重要提示一个供应商如 OpenAI可以同时提供文本生成和嵌入模型。在 Dify 中你需要分别配置它们。2.3 模型接入的两种主要模式模式描述优点缺点适用场景云端 API 模式通过互联网调用如 OpenAI、百度千帆等商业服务的 API。开箱即用模型能力强免运维。产生 API 调用费用数据需出境部分服务依赖网络。快速原型验证、对模型能力要求高、无数据合规硬性要求。本地/私有化模式在本地服务器或内网部署模型服务如 Ollama、vLLMDify 调用本地 API。数据完全私有无网络延迟无持续调用费用。需要自有算力部署运维有门槛模型能力可能弱于顶级云端模型。数据安全要求高、高频调用需控制成本、网络环境隔离。理解了这个架构你就明白 Dify 的模型配置页面在做什么了它是在为这个“调度中心”注册可用的“工人”模型供应商和模型。3. 环境准备与前提检查在开始配置模型前请确保你的 Dify 环境已经就绪。Dify 服务正常运行通过你部署时设定的地址如http://localhost:3000可以正常访问 Dify 的 Web 界面并能登录到管理后台。获取管理员权限首次登录的账号通常具有管理员权限这是配置模型所必需的。准备模型凭证对于云端 API准备好对应平台的 API Key。例如OpenAI 的 API Key 可以在其官网获取。对于本地模型确保本地模型服务已启动并知道其 API 地址如 Ollama 默认为http://localhost:11434。4. 实战逐步配置主流模型供应商我们将以三种最典型的场景为例手把手完成配置。4.1 场景一接入 OpenAI (官方 API)这是最直接的方式适合大多数国际开发者或用于体验。步骤 1进入模型配置页面登录 Dify 后台点击左侧导航栏的“模型供应商”-“添加模型供应商”。步骤 2选择供应商类型在弹出窗口中找到并选择“OpenAI”。步骤 3填写关键配置这里有几个字段至关重要供应商名称自定义如 “My-OpenAI”。API Key填入你的 OpenAI API Key。API Base URL通常留空表示使用 OpenAI 官方地址 (https://api.openai.com)。只有当你使用第三方代理或 Azure OpenAI 时才需要修改。代理地址如果你的服务器无法直接访问 OpenAI需要在此处填写 HTTP 代理地址格式如http://your-proxy:port。步骤 4添加具体模型配置完供应商后页面会跳转或刷新。你需要点击供应商卡片上的“添加模型”按钮。模型类型选择 “文本生成”。模型名称填写 OpenAI 的模型 ID如gpt-4o、gpt-4-turbo-preview、gpt-3.5-turbo。必须完全匹配官方名称。模型能力根据模型选择如gpt-4o支持视觉、文件上传、函数调用等可以全选。令牌限制即上下文窗口大小。gpt-4o是 128kgpt-3.5-turbo是 16k。请按官方文档填写。价格这里填写的是Dify 用于计算应用使用成本的内部参数与实际 OpenAI 账单无关。你可以按官方价格填写如gpt-4o输入 $5/1M tokens输出 $15/1M tokens单位是美元/百万令牌。如果不需要成本核算可以填 0。步骤 5配置嵌入模型可选用于知识库如果你需要创建知识库必须配置嵌入模型。同样在 OpenAI 供应商下点击“添加模型”模型类型选择“嵌入”模型名称填写text-embedding-3-small或text-embedding-3-large。配置完成后你的 OpenAI 模型就应该出现在创建应用时的下拉菜单中了。4.2 场景二接入国内模型以智谱AI GLM为例对于国内用户接入智谱、百度、阿里等国内大厂的模型是更稳定、合规的选择。我们以智谱AI为例。步骤 1获取凭证前往智谱AI开放平台注册并创建 API Key。步骤 2在 Dify 中添加供应商在“添加模型供应商”页面选择“通用 OpenAI 兼容接口”。这是一个万能选项任何提供与 OpenAI API 兼容的服务的厂商都可以通过它接入。供应商名称填写 “Zhipu AI”。API Base URL填写智谱的接口地址https://open.bigmodel.cn/api/paas/v4/。API Key填写你从智谱平台获取的 Key。步骤 3添加 GLM 模型点击“添加模型”类型选“文本生成”。模型名称填写智谱具体的模型名称如glm-4、glm-3-turbo。这是关键必须正确。令牌限制根据模型填写如glm-4是 128k。价格可按平台价格填写。核心原理“通用 OpenAI 兼容接口”意味着 Dify 会使用与调用 OpenAI 完全相同的 HTTP 请求格式路径、Header、Body去请求你填写的API Base URL。只要目标服务兼容这个格式就能无缝接入。国内大部分主流模型平台都提供了此类兼容接口。4.3 场景三接入本地模型以 Ollama 为例这是实现完全私有化、可控性最高的方案。Ollama 因其易用性成为运行本地模型的热门工具。前置条件你已在运行 Dify 的同一台机器或同一内网的另一台机器上安装并启动了 Ollama并拉取了模型如执行过ollama run llama3.2:1b。步骤 1添加供应商选择“通用 OpenAI 兼容接口”。供应商名称填写 “Local-Ollama”。API Base URL填写 Ollama 的 API 地址。如果 Ollama 和 Dify 在同一台机器通常是http://localhost:11434。如果在不同机器则填写http://ollama机器IP:11434。API Key留空。Ollama 默认无需鉴权生产环境建议配置。步骤 2添加模型点击“添加模型”类型选“文本生成”。模型名称填写你在 Ollama 中拉取的模型名称例如llama3.2:1b、qwen2.5:7b。必须与ollama list命令显示的名称完全一致。令牌限制需要你查阅该模型的具体信息来填写或先设一个保守值如 4096。价格填 0。步骤 3验证连接添加完成后可以点击模型卡片上的“测试”按钮。Dify 会发送一个简单的测试请求。如果返回成功说明连接正常。# 一个在服务器上启动 Ollama 并拉取模型的示例命令 # 1. 安装 Ollama (Linux) curl -fsSL https://ollama.com/install.sh | sh # 2. 启动 Ollama 服务 ollama serve # 或者使用 systemd: sudo systemctl start ollama # 3. 拉取一个轻量模型 (例如 1B 参数的 Llama 3.2) ollama pull llama3.2:1b # 4. 验证模型是否可用 curl http://localhost:11434/api/generate -d { model: llama3.2:1b, prompt: Hello, stream: false }5. 创建你的第一个 AI 应用验证模型模型配置好之后必须通过创建应用来验证。我们来创建一个最简单的对话机器人。步骤 1创建应用在 Dify 首页点击“创建应用”选择“对话型应用”输入应用名称如“我的测试助手”。步骤 2配置模型进入应用编排界面后你会看到“提示词编排”区域。找到“模型”配置部分。在“模型供应商”下拉菜单中选择你刚刚配置好的供应商如“My-OpenAI”。在“模型”下拉菜单中选择该供应商下的具体模型如“gpt-4o”。调整温度、上下文长度等参数可先保持默认。步骤 3编写系统提示词在“提示词”输入框中编写一段简单的系统指令例如你是一个乐于助人的AI助手。请用简洁、友好的中文回答用户的问题。步骤 4发布与测试点击右上角的“发布”按钮。发布后点击“体验”或“访问应用”打开对话窗口。输入“你好请介绍一下你自己”观察模型的回复。如果模型能正常生成符合提示词要求的回复恭喜你模型接入完全成功6. 模型接入的常见问题与深度排查即使按照步骤操作你也可能会遇到问题。下面是一些高频问题及其解决方案。问题现象可能原因排查思路解决方案模型下拉菜单为空1. 未添加任何模型供应商。2. 已添加供应商但未添加具体模型。3. 浏览器缓存。1. 检查“模型供应商”页面是否有配置。2. 进入供应商详情检查“模型列表”是否有模型。3. 清除浏览器缓存或使用无痕模式。1. 按本文步骤添加供应商和模型。2. 确保模型类型文本生成/嵌入正确。测试模型时连接失败1. API Key 错误或过期。2. API Base URL 错误。3. 网络不通防火墙、代理。4. 本地模型服务未启动。1. 在供应商平台检查 API Key 状态。2. 用curl命令测试 API 地址。3. 检查 Dify 服务器网络。1. 更换有效的 API Key。2. 修正 Base URL。3. 配置代理或检查防火墙规则。4. 启动 Ollama 等服务。应用对话时报“模型不可用”1. 模型配额用尽或禁用。2. 模型名称填写错误。3. 请求参数如令牌超限服务器拒绝。1. 登录供应商平台查看余额和状态。2. 核对 Dify 中模型名与官方文档。3. 查看 Dify 服务日志 (docker-compose logs -f api)1. 充值或启用模型。2. 修正模型名称。3. 调整上下文长度等参数。本地模型响应慢或超时1. 本地硬件CPU/GPU/内存不足。2. 模型太大加载时间长。3. Dify 请求超时时间设置太短。1. 监控服务器资源使用率。2. 换用更小的模型。3. 查看 Dify 日志中的超时错误。1. 升级硬件或优化配置。2. 选择适合硬件的模型。3. 调整 Dify 环境变量MODEL_INFERENCE_TIMEOUT。中文模型生成乱码或英文1. 模型本身训练数据偏英文。2. 系统提示词未指定语言。3. 模型参数如 temperature不合适。1. 测试模型的基础语言能力。2. 检查提示词是否明确要求中文回复。1. 尝试专为中文优化的模型如 Qwen、GLM。2. 在系统提示词中强化语言要求。3. 调整生成参数。深度排查工具查看日志当问题复杂时查看 Dify 后端日志是最有效的方法。如果你使用 Docker 部署# 查看所有服务的日志 cd /path/to/your/dify docker-compose logs -f # 或者只看核心 API 服务的日志 docker-compose logs -f api在日志中搜索model、provider、error等关键词可以定位到具体的请求错误信息。7. 生产环境最佳实践与高级配置当你准备将 Dify 用于正式项目时以下建议能帮你构建更稳健的模型接入层。7.1 多模型与故障转移不要只依赖一个模型供应商。配置备用模型在 Dify 的“模型负载均衡”功能中可以为同一个应用配置多个同类型模型如一个主用 GPT-4一个备用 GLM-4。当主模型调用失败时Dify 会自动切换到备用模型保障应用可用性。权重分配你还可以为多个模型设置权重实现简单的流量分发。7.2 成本与用量监控善用价格配置在模型配置中准确填写价格Dify 会在“工作空间 使用统计”中生成详细的成本报告帮助你分析应用开销。设置用量限制在“企业设置 权限”中可以为团队成员或应用设置每日/每月的令牌使用上限防止意外消耗。7.3 安全与密钥管理环境变量管理密钥对于 Docker 部署强烈建议通过docker-compose.yml文件中的环境变量来注入 API Key而不是在 Web 界面上填写后保存在数据库。# 在 docker-compose.yml 的 api 服务部分添加环境变量 services: api: ... environment: - OPENAI_API_KEY${YOUR_OPENAI_KEY} # 从宿主机环境变量读取使用 Azure OpenAI如果企业要求更高的安全合规性应使用 Azure OpenAI 服务。在 Dify 中配置时供应商选择“Azure OpenAI”需要填写API Key、API Base URL格式为https://{your-resource-name}.openai.azure.com以及API Version。模型名称则填写你在 Azure 门户中部署的“部署名称”。7.4 性能优化嵌入模型选择知识库的检索速度和效果很大程度上取决于嵌入模型。对于中文场景text-embedding-3-small性价比高而bge-large-zh等开源模型在中文任务上可能表现更佳需通过“通用接口”接入。上下文长度管理为模型设置合理的上下文窗口。过大的窗口如总是用满 128k会导致每次请求携带大量历史 tokens增加成本和延迟。合理设计应用只保留必要的上下文。8. 总结从模型接入到应用创新的关键思维通过以上步骤你应该已经成功将至少一个大模型接入了 Dify。回顾整个过程核心收获不仅仅是点击了哪些按钮填了哪些参数而是理解了两层逻辑第一层是技术逻辑Dify 通过标准化的接口主要是 OpenAI 兼容格式与模型服务通信。无论模型在云端还是本地只要它暴露了兼容的 APIDify 就能将其纳入自己的资源池进行调度。这为你提供了极大的灵活性。第二层是应用逻辑模型接入是起点不是终点。Dify 的真正威力在于当你有了稳定可靠的模型供给后可以像搭积木一样快速将模型能力与知识库、工作流、外部工具结合构建出解决特定场景问题的复杂 AI 应用。例如接入一个本地模型 企业内部知识库构建一个安全合规的智能客服。接入 GPT-4 的视觉能力 工作流创建一个能分析图表并生成报告的应用。配置多个不同特长的模型让应用根据问题类型自动选择最合适的“专家”来回答。下一步你可以尝试探索 Dify 的“工作流”功能它将模型编排的能力从简单的对话提升到了可视化的复杂业务流程。同时密切关注你所用模型的更新和定价变化及时在 Dify 中调整配置以确保应用的成本效益和最佳性能。
Dify模型接入全攻略：从OpenAI到本地部署，解决AI应用开发第一道坎
如果你已经成功部署了 Dify但打开界面后面对“模型供应商”和“模型”的下拉菜单却一片空白不知道如何让这个强大的 AI 应用开发框架真正“活”起来那么这篇文章就是为你准备的。很多开发者误以为部署完 Dify 就万事大吉实际上接入一个可用的大模型才是让 Dify 发挥价值的起点。没有模型Dify 只是一个空壳。本文的核心判断是Dify 的核心价值在于其低代码、可视化的 AI 应用编排能力而这一切都建立在稳定、可控的模型接入之上。选择并接入合适的模型是构建可靠 AI 应用的第一步也是最关键的一步。本文将带你从零开始彻底搞懂 Dify 的模型接入逻辑。你将学会如何接入 OpenAI、Azure、国内主流模型平台以及本地部署的模型如 Ollama理解不同接入方式的适用场景与成本考量并最终通过一个完整的对话型应用ChatBot示例验证你的模型接入是否成功。无论你是想快速体验还是为生产环境做准备这里都有清晰的路径。1. 为什么模型接入是 Dify 实践的第一道坎部署 Dify 本身并不复杂官方提供了 Docker、Git 等多种一键部署方案。然而当你兴致勃勃地打开 Dify 管理后台准备创建第一个 AI 应用时很可能会在第一步“选择模型”时卡住。下拉菜单空空如也系统提示你需要先配置模型供应商。这恰恰揭示了 Dify 的一个核心设计理念解耦应用编排与模型服务。Dify 本身不提供模型它是一个卓越的“调度中心”和“组装车间”。它的职责是帮你可视化编排通过拖拽组件定义 AI 应用的逻辑流如用户提问 → 检索知识库 → 模型生成 → 格式化输出。状态管理管理对话历史、处理复杂的状态。集成扩展连接知识库、外部 API、工作流等。而“思考”和“生成”这部分最核心的智力工作则交给外部的大模型服务来完成。因此接入模型不是可选项而是必选项。这一步的困惑主要来自几个方面选择困难模型供应商众多OpenAI、Anthropic、国内各大厂不知道选哪个。配置复杂API Key、Base URL、模型名称等参数让人眼花缭乱。本地化迷茫想用本地部署的模型保障数据隐私但不知道如何对接。成本与性能权衡如何在效果、响应速度、费用之间找到平衡点。接下来的内容我们将逐一拆解这些困惑让你不仅能配通模型更能理解背后的原理做出适合自己的选择。2. Dify 模型接入的核心概念与架构在开始动手之前我们需要理解几个关键概念这能帮你避免后续配置中的很多低级错误。2.1 模型供应商 vs. 模型这是最容易混淆的一对概念。模型供应商指的是提供模型服务的平台或公司。例如OpenAI、Azure OpenAI、百度千帆、智谱AI、Ollama本地等。在 Dify 中你需要先添加一个“供应商”并配置其连接信息如 API 地址、密钥。模型指供应商提供的具体模型实例。例如OpenAI 供应商下有gpt-4o、gpt-4-turbo、gpt-3.5-turbo等模型智谱AI 供应商下有glm-4、glm-3-turbo等。关系是一个供应商下可以配置多个模型。你需要在供应商配置中声明这个供应商支持哪些模型并为每个模型设置独立的配置项如上下文长度、单价。2.2 支持的模型类型Dify 主要支持两类模型用于不同的应用场景文本生成模型用于对话、内容创作、摘要等任务。对应 OpenAI 的ChatCompletion接口。这是最常用的类型。嵌入模型用于将文本转换为向量是构建知识库实现语义搜索的核心。对应 OpenAI 的Embeddings接口。重要提示一个供应商如 OpenAI可以同时提供文本生成和嵌入模型。在 Dify 中你需要分别配置它们。2.3 模型接入的两种主要模式模式描述优点缺点适用场景云端 API 模式通过互联网调用如 OpenAI、百度千帆等商业服务的 API。开箱即用模型能力强免运维。产生 API 调用费用数据需出境部分服务依赖网络。快速原型验证、对模型能力要求高、无数据合规硬性要求。本地/私有化模式在本地服务器或内网部署模型服务如 Ollama、vLLMDify 调用本地 API。数据完全私有无网络延迟无持续调用费用。需要自有算力部署运维有门槛模型能力可能弱于顶级云端模型。数据安全要求高、高频调用需控制成本、网络环境隔离。理解了这个架构你就明白 Dify 的模型配置页面在做什么了它是在为这个“调度中心”注册可用的“工人”模型供应商和模型。3. 环境准备与前提检查在开始配置模型前请确保你的 Dify 环境已经就绪。Dify 服务正常运行通过你部署时设定的地址如http://localhost:3000可以正常访问 Dify 的 Web 界面并能登录到管理后台。获取管理员权限首次登录的账号通常具有管理员权限这是配置模型所必需的。准备模型凭证对于云端 API准备好对应平台的 API Key。例如OpenAI 的 API Key 可以在其官网获取。对于本地模型确保本地模型服务已启动并知道其 API 地址如 Ollama 默认为http://localhost:11434。4. 实战逐步配置主流模型供应商我们将以三种最典型的场景为例手把手完成配置。4.1 场景一接入 OpenAI (官方 API)这是最直接的方式适合大多数国际开发者或用于体验。步骤 1进入模型配置页面登录 Dify 后台点击左侧导航栏的“模型供应商”-“添加模型供应商”。步骤 2选择供应商类型在弹出窗口中找到并选择“OpenAI”。步骤 3填写关键配置这里有几个字段至关重要供应商名称自定义如 “My-OpenAI”。API Key填入你的 OpenAI API Key。API Base URL通常留空表示使用 OpenAI 官方地址 (https://api.openai.com)。只有当你使用第三方代理或 Azure OpenAI 时才需要修改。代理地址如果你的服务器无法直接访问 OpenAI需要在此处填写 HTTP 代理地址格式如http://your-proxy:port。步骤 4添加具体模型配置完供应商后页面会跳转或刷新。你需要点击供应商卡片上的“添加模型”按钮。模型类型选择 “文本生成”。模型名称填写 OpenAI 的模型 ID如gpt-4o、gpt-4-turbo-preview、gpt-3.5-turbo。必须完全匹配官方名称。模型能力根据模型选择如gpt-4o支持视觉、文件上传、函数调用等可以全选。令牌限制即上下文窗口大小。gpt-4o是 128kgpt-3.5-turbo是 16k。请按官方文档填写。价格这里填写的是Dify 用于计算应用使用成本的内部参数与实际 OpenAI 账单无关。你可以按官方价格填写如gpt-4o输入 $5/1M tokens输出 $15/1M tokens单位是美元/百万令牌。如果不需要成本核算可以填 0。步骤 5配置嵌入模型可选用于知识库如果你需要创建知识库必须配置嵌入模型。同样在 OpenAI 供应商下点击“添加模型”模型类型选择“嵌入”模型名称填写text-embedding-3-small或text-embedding-3-large。配置完成后你的 OpenAI 模型就应该出现在创建应用时的下拉菜单中了。4.2 场景二接入国内模型以智谱AI GLM为例对于国内用户接入智谱、百度、阿里等国内大厂的模型是更稳定、合规的选择。我们以智谱AI为例。步骤 1获取凭证前往智谱AI开放平台注册并创建 API Key。步骤 2在 Dify 中添加供应商在“添加模型供应商”页面选择“通用 OpenAI 兼容接口”。这是一个万能选项任何提供与 OpenAI API 兼容的服务的厂商都可以通过它接入。供应商名称填写 “Zhipu AI”。API Base URL填写智谱的接口地址https://open.bigmodel.cn/api/paas/v4/。API Key填写你从智谱平台获取的 Key。步骤 3添加 GLM 模型点击“添加模型”类型选“文本生成”。模型名称填写智谱具体的模型名称如glm-4、glm-3-turbo。这是关键必须正确。令牌限制根据模型填写如glm-4是 128k。价格可按平台价格填写。核心原理“通用 OpenAI 兼容接口”意味着 Dify 会使用与调用 OpenAI 完全相同的 HTTP 请求格式路径、Header、Body去请求你填写的API Base URL。只要目标服务兼容这个格式就能无缝接入。国内大部分主流模型平台都提供了此类兼容接口。4.3 场景三接入本地模型以 Ollama 为例这是实现完全私有化、可控性最高的方案。Ollama 因其易用性成为运行本地模型的热门工具。前置条件你已在运行 Dify 的同一台机器或同一内网的另一台机器上安装并启动了 Ollama并拉取了模型如执行过ollama run llama3.2:1b。步骤 1添加供应商选择“通用 OpenAI 兼容接口”。供应商名称填写 “Local-Ollama”。API Base URL填写 Ollama 的 API 地址。如果 Ollama 和 Dify 在同一台机器通常是http://localhost:11434。如果在不同机器则填写http://ollama机器IP:11434。API Key留空。Ollama 默认无需鉴权生产环境建议配置。步骤 2添加模型点击“添加模型”类型选“文本生成”。模型名称填写你在 Ollama 中拉取的模型名称例如llama3.2:1b、qwen2.5:7b。必须与ollama list命令显示的名称完全一致。令牌限制需要你查阅该模型的具体信息来填写或先设一个保守值如 4096。价格填 0。步骤 3验证连接添加完成后可以点击模型卡片上的“测试”按钮。Dify 会发送一个简单的测试请求。如果返回成功说明连接正常。# 一个在服务器上启动 Ollama 并拉取模型的示例命令 # 1. 安装 Ollama (Linux) curl -fsSL https://ollama.com/install.sh | sh # 2. 启动 Ollama 服务 ollama serve # 或者使用 systemd: sudo systemctl start ollama # 3. 拉取一个轻量模型 (例如 1B 参数的 Llama 3.2) ollama pull llama3.2:1b # 4. 验证模型是否可用 curl http://localhost:11434/api/generate -d { model: llama3.2:1b, prompt: Hello, stream: false }5. 创建你的第一个 AI 应用验证模型模型配置好之后必须通过创建应用来验证。我们来创建一个最简单的对话机器人。步骤 1创建应用在 Dify 首页点击“创建应用”选择“对话型应用”输入应用名称如“我的测试助手”。步骤 2配置模型进入应用编排界面后你会看到“提示词编排”区域。找到“模型”配置部分。在“模型供应商”下拉菜单中选择你刚刚配置好的供应商如“My-OpenAI”。在“模型”下拉菜单中选择该供应商下的具体模型如“gpt-4o”。调整温度、上下文长度等参数可先保持默认。步骤 3编写系统提示词在“提示词”输入框中编写一段简单的系统指令例如你是一个乐于助人的AI助手。请用简洁、友好的中文回答用户的问题。步骤 4发布与测试点击右上角的“发布”按钮。发布后点击“体验”或“访问应用”打开对话窗口。输入“你好请介绍一下你自己”观察模型的回复。如果模型能正常生成符合提示词要求的回复恭喜你模型接入完全成功6. 模型接入的常见问题与深度排查即使按照步骤操作你也可能会遇到问题。下面是一些高频问题及其解决方案。问题现象可能原因排查思路解决方案模型下拉菜单为空1. 未添加任何模型供应商。2. 已添加供应商但未添加具体模型。3. 浏览器缓存。1. 检查“模型供应商”页面是否有配置。2. 进入供应商详情检查“模型列表”是否有模型。3. 清除浏览器缓存或使用无痕模式。1. 按本文步骤添加供应商和模型。2. 确保模型类型文本生成/嵌入正确。测试模型时连接失败1. API Key 错误或过期。2. API Base URL 错误。3. 网络不通防火墙、代理。4. 本地模型服务未启动。1. 在供应商平台检查 API Key 状态。2. 用curl命令测试 API 地址。3. 检查 Dify 服务器网络。1. 更换有效的 API Key。2. 修正 Base URL。3. 配置代理或检查防火墙规则。4. 启动 Ollama 等服务。应用对话时报“模型不可用”1. 模型配额用尽或禁用。2. 模型名称填写错误。3. 请求参数如令牌超限服务器拒绝。1. 登录供应商平台查看余额和状态。2. 核对 Dify 中模型名与官方文档。3. 查看 Dify 服务日志 (docker-compose logs -f api)1. 充值或启用模型。2. 修正模型名称。3. 调整上下文长度等参数。本地模型响应慢或超时1. 本地硬件CPU/GPU/内存不足。2. 模型太大加载时间长。3. Dify 请求超时时间设置太短。1. 监控服务器资源使用率。2. 换用更小的模型。3. 查看 Dify 日志中的超时错误。1. 升级硬件或优化配置。2. 选择适合硬件的模型。3. 调整 Dify 环境变量MODEL_INFERENCE_TIMEOUT。中文模型生成乱码或英文1. 模型本身训练数据偏英文。2. 系统提示词未指定语言。3. 模型参数如 temperature不合适。1. 测试模型的基础语言能力。2. 检查提示词是否明确要求中文回复。1. 尝试专为中文优化的模型如 Qwen、GLM。2. 在系统提示词中强化语言要求。3. 调整生成参数。深度排查工具查看日志当问题复杂时查看 Dify 后端日志是最有效的方法。如果你使用 Docker 部署# 查看所有服务的日志 cd /path/to/your/dify docker-compose logs -f # 或者只看核心 API 服务的日志 docker-compose logs -f api在日志中搜索model、provider、error等关键词可以定位到具体的请求错误信息。7. 生产环境最佳实践与高级配置当你准备将 Dify 用于正式项目时以下建议能帮你构建更稳健的模型接入层。7.1 多模型与故障转移不要只依赖一个模型供应商。配置备用模型在 Dify 的“模型负载均衡”功能中可以为同一个应用配置多个同类型模型如一个主用 GPT-4一个备用 GLM-4。当主模型调用失败时Dify 会自动切换到备用模型保障应用可用性。权重分配你还可以为多个模型设置权重实现简单的流量分发。7.2 成本与用量监控善用价格配置在模型配置中准确填写价格Dify 会在“工作空间 使用统计”中生成详细的成本报告帮助你分析应用开销。设置用量限制在“企业设置 权限”中可以为团队成员或应用设置每日/每月的令牌使用上限防止意外消耗。7.3 安全与密钥管理环境变量管理密钥对于 Docker 部署强烈建议通过docker-compose.yml文件中的环境变量来注入 API Key而不是在 Web 界面上填写后保存在数据库。# 在 docker-compose.yml 的 api 服务部分添加环境变量 services: api: ... environment: - OPENAI_API_KEY${YOUR_OPENAI_KEY} # 从宿主机环境变量读取使用 Azure OpenAI如果企业要求更高的安全合规性应使用 Azure OpenAI 服务。在 Dify 中配置时供应商选择“Azure OpenAI”需要填写API Key、API Base URL格式为https://{your-resource-name}.openai.azure.com以及API Version。模型名称则填写你在 Azure 门户中部署的“部署名称”。7.4 性能优化嵌入模型选择知识库的检索速度和效果很大程度上取决于嵌入模型。对于中文场景text-embedding-3-small性价比高而bge-large-zh等开源模型在中文任务上可能表现更佳需通过“通用接口”接入。上下文长度管理为模型设置合理的上下文窗口。过大的窗口如总是用满 128k会导致每次请求携带大量历史 tokens增加成本和延迟。合理设计应用只保留必要的上下文。8. 总结从模型接入到应用创新的关键思维通过以上步骤你应该已经成功将至少一个大模型接入了 Dify。回顾整个过程核心收获不仅仅是点击了哪些按钮填了哪些参数而是理解了两层逻辑第一层是技术逻辑Dify 通过标准化的接口主要是 OpenAI 兼容格式与模型服务通信。无论模型在云端还是本地只要它暴露了兼容的 APIDify 就能将其纳入自己的资源池进行调度。这为你提供了极大的灵活性。第二层是应用逻辑模型接入是起点不是终点。Dify 的真正威力在于当你有了稳定可靠的模型供给后可以像搭积木一样快速将模型能力与知识库、工作流、外部工具结合构建出解决特定场景问题的复杂 AI 应用。例如接入一个本地模型 企业内部知识库构建一个安全合规的智能客服。接入 GPT-4 的视觉能力 工作流创建一个能分析图表并生成报告的应用。配置多个不同特长的模型让应用根据问题类型自动选择最合适的“专家”来回答。下一步你可以尝试探索 Dify 的“工作流”功能它将模型编排的能力从简单的对话提升到了可视化的复杂业务流程。同时密切关注你所用模型的更新和定价变化及时在 Dify 中调整配置以确保应用的成本效益和最佳性能。
