在 AI 应用开发领域快速构建一个能够实际运行、稳定可靠的智能体或工作流往往需要处理模型接入、流程编排、知识库构建、部署上线等一系列复杂环节。Dify 作为一个开源的 AI 应用开发平台其核心价值在于将上述环节标准化、可视化让开发者能够专注于业务逻辑而非底层架构。而这一切的起点就是如何将不同的大语言模型LLM无缝接入到 Dify 平台中。无论是 OpenAI 的 GPT 系列、Anthropic 的 Claude还是开源的 Llama、Qwen甚至是本地部署的 Ollama 模型Dify 都提供了统一的配置入口。理解并掌握模型接入是使用 Dify 构建任何 AI 应用的第一步也是决定应用能力上限和成本控制的关键一步。对于刚接触 Dify 的开发者来说模型配置界面中众多的参数和选项可能会让人感到困惑。API 密钥在哪里获取Base URL 是什么模型名称如何填写为什么配置后测试调用总是失败本文将围绕“Dify 接入大模型”这一核心任务从原理到实践详细拆解配置流程。我们将以 OpenAI 和本地 Ollama 为例手把手完成从零配置到成功调用的全过程并深入分析每个参数的含义、常见配置错误的排查方法以及在生产环境中管理多模型的最佳实践。无论你是希望快速验证一个 AI 想法还是为企业构建一个严肃的生产级应用本文都将为你提供清晰、可操作的路径。1. 理解 Dify 的模型供应商与模型配置机制在开始动手配置之前我们需要先理解 Dify 是如何抽象和管理大语言模型的。这有助于我们在遇到问题时能够快速定位是配置错误、网络问题还是模型本身的问题。1.1 核心概念模型供应商 vs. 模型Dify 将模型提供方抽象为“模型供应商”Model Provider将具体的模型实例抽象为“模型”Model。这是一种清晰的分层设计。模型供应商指的是提供模型服务的平台或接口。例如OpenAI提供 GPT-3.5、GPT-4 等模型。Azure OpenAI微软云提供的 OpenAI 服务。Anthropic提供 Claude 系列模型。Ollama一个在本地运行和管理开源大模型的工具。通义千问、智谱AI、百度千帆等国内服务商。模型指在某个供应商下可供选择的具体模型。例如在OpenAI供应商下你可以创建名为gpt-4o、gpt-3.5-turbo的模型配置。这种设计的好处是你可以在一个供应商下配置多个模型例如不同版本或不同能力的模型并在应用的工作流或聊天助手Agent中灵活切换而无需重复填写 API 密钥、Base URL 等通用信息。1.2 配置信息的构成为一个大模型创建可用的配置通常需要以下几类信息认证信息主要是 API Key用于向模型服务商证明你的调用权限。对于 OpenAI你需要在 OpenAI 平台创建对于 Ollama通常无需密钥但需要确保网络可达。端点信息即 API 的 Base URL。对于云服务这是固定的如https://api.openai.com/v1对于本地或自定义部署你需要指定服务地址如http://localhost:11434/v1。模型标识服务商内部用于区分不同模型的唯一名称。如gpt-4o、claude-3-5-sonnet-20241022、llama3.2等。能力与限制包括模型支持的上下文长度Token 数、是否支持函数调用Function Calling、是否支持流式输出等。Dify 会根据这些信息来优化调用方式。1.3 Dify 支持的模型类型与典型场景为了帮助你根据需求选择合适的模型下表列出了 Dify 中几种常见的模型供应商及其典型使用场景模型供应商典型模型示例主要特点适用场景成本与部署OpenAIgpt-4o, gpt-4-turbo, gpt-3.5-turbo能力强大生态成熟API 稳定响应速度快。对回答质量、逻辑推理、代码生成要求高的通用场景。按 Token 付费需网络访问。Azure OpenAIgpt-4, gpt-35-turbo企业级服务提供数据隐私、合规性保障与 Azure 生态集成好。企业级应用对数据安全、服务等级协议有要求的场景。企业采购通常有私有化部署选项。Anthropic Claudeclaude-3-5-sonnet, claude-3-haiku长上下文处理能力强在文档分析、写作、安全策略上表现突出。长文本总结、文档分析、内容创作、需要“安全”输出的场景。按 Token 付费需网络访问。Ollama (本地)llama3.2, qwen2.5, mistral完全本地运行数据不出域无网络依赖可离线使用。对数据隐私要求极高、网络环境受限、或希望零 API 成本的内部工具场景。免费但需要本地计算资源GPU/CPU。国内服务商(如智谱、月之暗面)glm-4, moonshot-v1对中文优化好国内访问速度快符合国内监管要求。主要面向中文用户要求低延迟、合规的应用。按 Token 付费或套餐制。理解这些差异后我们就可以开始准备环境并进行实际配置了。接下来我们将以最常用的OpenAI和完全私有的Ollama为例完成两种典型的接入流程。2. 环境准备与 Dify 部署在配置模型之前你需要有一个正在运行的 Dify 实例。你可以选择使用 Dify 官方提供的云服务但为了更深入地理解整个过程并拥有完全的控制权我们强烈建议在本地或自有服务器上进行部署。2.1 部署方式选择Dify 提供了多种部署方式对于学习和开发环境我们推荐使用 Docker Compose这是最快捷、依赖最清晰的方式。Docker Compose推荐一键启动所有服务前端、后端、数据库等适合快速开始。源码部署适合需要深度定制或开发 Dify 本身的场景。云服务直接使用 Dify Cloud免运维但模型配置逻辑完全一致。2.2 使用 Docker Compose 部署 Dify确保你的系统已安装 Docker 和 Docker Compose。以下步骤在 Linux/macOS 的终端或 Windows 的 PowerShell/WSL 中执行。克隆仓库并进入目录git clone https://github.com/langgenius/dify.git cd dify/docker复制环境变量文件并修改关键配置cp .env.example .env使用文本编辑器如vim,nano或 VSCode打开.env文件。对于基础学习你主要需要关注以下两个设置确保它们没有被防火墙阻挡OPENAI_API_KEY可以先留空我们后续在界面配置。DB_PASSWORD为 PostgreSQL 数据库设置一个强密码。启动 Dify 服务docker-compose up -d这个命令会拉取镜像并启动所有容器。首次运行可能需要几分钟时间下载镜像。验证服务状态docker-compose ps你应该看到dify-api和dify-web等容器的状态为Up (healthy)。访问 Dify 在浏览器中打开http://localhost:3000。如果一切正常你将看到 Dify 的初始化设置页面。按照指引完成管理员账号的创建。注意如果端口 3000 被占用你可以在.env文件中修改WEB_PORT和API_PORT的值并重启服务。至此你的 Dify 开发环境已经就绪。接下来我们进入核心环节——配置大模型。3. 配置 OpenAI 模型供应商与模型OpenAI 的 API 是目前生态最完善、文档最丰富的服务之一是学习 Dify 模型接入的理想起点。3.1 获取 OpenAI API Key访问 OpenAI Platform 并登录。点击右上角个人头像选择 “View API keys”。点击 “Create new secret key”为你的 Dify 应用创建一个新的密钥。请务必妥善保存此密钥因为它只显示一次。你可以为其命名例如 “Dify_Dev”。3.2 在 Dify 中添加 OpenAI 供应商登录你的 Dify 控制台。在左侧导航栏中找到并点击“模型供应商”Model Providers。点击页面上的“添加模型供应商”按钮。在供应商列表中找到并选择“OpenAI”。填写配置表单供应商名称自定义一个易于识别的名字如 “My-OpenAI”。API Key粘贴你刚刚获取的 OpenAI API Key。API Base URL保持默认的https://api.openai.com/v1。除非你使用代理或自定义的 OpenAI 兼容端点否则不要修改。组织 ID可选如果你在 OpenAI 平台属于某个组织可以在此填写。点击“保存”。保存成功后该供应商会出现在供应商列表中。3.3 在 OpenAI 供应商下创建具体模型添加了供应商相当于建立了连接通道。现在我们需要在这个通道上定义具体的“车辆”——模型。在“模型供应商”页面找到你刚创建的 “My-OpenAI” 供应商点击其右侧的“添加模型”按钮。填写模型配置模型类型选择 “文本生成” (LLM)。对于 GPT 系列都选这个。模型这里需要填写 OpenAI 官方的模型名称。例如gpt-4o(最新旗舰模型性价比高)gpt-4-turbogpt-3.5-turbo(成本最低速度最快)模型名称这是在 Dify 内部显示的名字可以自定义如 “GPT-4o 主力模型”。支持的上下文长度根据模型能力填写。例如gpt-4o支持 128Kgpt-3.5-turbo支持 16K。填写正确的数值有助于 Dify 进行上下文窗口管理。函数调用如果你的应用需要让模型调用外部工具如查询天气、执行计算请确保开启。GPT-3.5-turbo 和 GPT-4 系列都支持。其他参数如Max Tokens单次回复最大长度、Temperature创造性默认 0.7等可以保持默认后续在应用编排中也可以按需调整。点击“添加”。3.4 测试模型连接添加模型后强烈建议立即进行测试。在模型列表中找到你刚添加的模型点击其右侧的“测试”按钮。在弹出的测试对话框中输入一个简单的问题如 “请用中文介绍一下你自己。”点击发送。如果配置正确几秒内你就会收到模型的回复。测试成功的意义这验证了从你的 Dify 服务器到 OpenAI API 的网络是通的API Key 是有效的模型名称是正确的。这是后续所有应用开发的基础。4. 配置本地 Ollama 模型供应商与模型对于数据敏感、需要离线运行或希望零 API 成本的场景在本地部署开源模型是绝佳选择。Ollama 极大地简化了本地大模型的下载、运行和管理。4.1 安装并运行 Ollama安装 Ollama访问 Ollama 官网 根据你的操作系统Windows/macOS/Linux下载并安装。拉取并运行一个模型打开终端执行以下命令拉取一个中等大小的模型例如 Llama 3.2。ollama pull llama3.2 ollama run llama3.2运行后你可以在终端与模型直接对话按CtrlD退出。这证明 Ollama 服务已在本地正常运行默认 API 端口是11434。4.2 在 Dify 中添加 Ollama 供应商Ollama 提供了与 OpenAI 兼容的 API 接口这使得 Dify 可以将其识别为一个“供应商”。在 Dify 的“模型供应商”页面点击“添加模型供应商”。这次在列表中选择“自定义”或“OpenAI 兼容”不同 Dify 版本名称可能略有不同。其核心是配置一个兼容 OpenAI API 格式的端点。填写配置表单供应商名称如 “My-Local-Ollama”。API KeyOllama 默认不需要 API Key可以留空或填写任意字符如ollama。有些安全设置严格的 Ollama 部署可能需要配置密钥。API Base URL这是关键。填写 Ollama 服务的地址。如果 Dify 和 Ollama 运行在同一台机器上则为http://localhost:11434/v1。如果 Ollama 运行在另一台服务器如内网另一台机器则需填写其 IP 和端口如http://192.168.1.100:11434/v1。点击“保存”。4.3 在 Ollama 供应商下创建具体模型在 “My-Local-Ollama” 供应商下点击“添加模型”。填写模型配置模型类型选择 “文本生成” (LLM)。模型这里填写你在 Ollama 中拉取的模型名称例如llama3.2。注意这个名称必须与ollama list命令列出的名称完全一致。模型名称自定义如 “本地 Llama 3.2”。支持的上下文长度需要查阅该模型的具体信息。Llama 3.2 通常支持 8K 或 128K建议先填写一个保守值如8192。点击“添加”。4.4 测试本地模型连接同样点击新模型的“测试”按钮。输入测试问题。由于本地模型通常性能弱于云端大模型首次响应可能较慢取决于你的硬件。如果成功返回答案则证明本地模型接入成功。关键点如果测试失败最常见的原因是网络连通性。请确保 Dify 容器能访问到运行 Ollama 的主机和端口。你可以尝试在运行 Dify 的服务器上执行curl http://localhost:11434/v1/models来测试连通性。如果 Ollama 不在本机请替换为对应的 IP。5. 在应用中使用已配置的模型模型配置并测试成功后就可以在 Dify 的各个功能模块中使用它们了。5.1 在“应用”中配置模型创建一个新的“对话型”或“工作流”应用。进入应用编排界面在左侧的“提示词编排”或“工作流”区域找到“模型”配置模块。点击模型选择框你会看到一个下拉列表其中包含了你在“模型供应商”中配置的所有可用模型。选择你想要的模型例如 “GPT-4o 主力模型”。你还可以在此处微调模型参数如Temperature、Max Tokens等。这些设置会覆盖模型配置中的默认值但仅对当前应用生效。5.2 在工作流中使用模型节点在工作流编辑器中从节点库中拖拽一个“LLM”节点到画布上。点击该 LLM 节点进行配置。在配置面板中同样可以选择已配置的模型。你可以连接上游节点如知识库检索结果、变量作为该 LLM 节点的输入从而构建复杂的 AI 处理流水线。5.3 模型切换与 A/B 测试Dify 的优势在于模型的可插拔性。你可以在不同环境开发、测试、生产或同一应用的不同版本中轻松切换底层模型而无需修改业务逻辑代码。例如在开发时使用本地的llama3.2以节省成本上线时切换到gpt-4o以保证质量。6. 常见问题排查与解决方案接入模型时你可能会遇到各种问题。下面是一个快速排查清单问题现象可能原因检查步骤解决方案测试模型时提示“模型不可用”或超时1. API Key 错误或失效。2. 网络无法访问 API 端点。3. 模型名称填写错误。4. 账户余额不足或请求超限。1. 检查 API Key 是否复制完整前后无空格。2. 在服务器上使用curl或ping测试网络连通性。3. 核对供应商官方文档中的模型名称列表。4. 登录云服务商控制台查看用量和余额。1. 重新生成并粘贴 API Key。2. 配置网络代理或检查防火墙规则。3. 修正模型名称。4. 充值或等待限额重置。Ollama 模型测试失败提示连接错误1. Ollama 服务未启动。2. Dify 容器无法访问 Ollama 主机/端口。3. Base URL 填写错误。1. 在 Ollama 主机执行ollama serve查看状态。2. 在 Dify 容器内执行curl http://ollama_host:11434/v1/models。3. 确认 Base URL 包含/v1路径。1. 启动 Ollama 服务 (ollama serve)。2. 确保 Docker 网络配置正确或使用host网络模式启动 Dify。3. 修正 Base URL。模型能连接但返回内容乱码或不符合预期1. 模型本身能力限制。2. 提示词Prompt设计不佳。3. Temperature 等参数设置不合理。1. 使用相同的提示词在官方 Playground 测试对比。2. 检查并优化应用中的系统提示词和用户输入。3. 调整Temperature(降低以获得更确定输出) 和Max Tokens。1. 考虑更换更强模型。2. 学习并应用 Prompt Engineering 技巧。3. 在模型配置或应用编排中调整参数。配置了知识库但模型回答未引用知识1. 应用未启用“知识库”功能。2. 检索到的内容与问题相关性低。3. 模型配置中未正确关联知识库检索节点。1. 检查应用设置中是否添加并启用了知识库。2. 检查知识库文档的切片方式和检索阈值。3. 在工作流中确认 LLM 节点的输入包含了知识库检索节点的输出。1. 在应用中添加并启用目标知识库。2. 优化知识库文档质量和检索参数。3. 在工作流画布上正确连接节点。流式输出不工作1. 浏览器或网络问题。2. 模型供应商不支持或流式输出被关闭。3. Dify 后端配置问题。1. 更换浏览器或网络环境测试。2. 检查模型供应商的 API 是否支持 Server-Sent Events (SSE)。3. 查看 Dify 服务日志。1. 通常云端模型OpenAI都支持流式输出确保前端配置无误。2. 对于 Ollama确保其版本较新并支持流式。3. 重启 Dify 相关服务。7. 生产环境最佳实践与安全建议当你的应用从开发测试走向生产时模型接入需要考虑更多因素。密钥管理切勿硬编码永远不要将 API Key 直接写在代码或配置文件中提交到代码仓库。使用环境变量在 Docker Compose 的.env文件中配置OPENAI_API_KEY等敏感信息并确保该文件被加入.gitignore。密钥轮换定期更新 API Key并在服务商控制台上删除旧的密钥。多环境配置为开发、测试、生产环境配置不同的模型供应商和模型。例如开发环境用本地 Ollama生产环境用 Azure OpenAI。可以利用 Dify 的“模型”配置通过命名来区分环境如gpt-4-prod、gpt-4-staging。监控与限流监控用量和成本定期查看云服务商的控制台监控 Token 消耗和费用设置预算警报。实施应用级限流在 Dify 的应用设置中可以配置“每秒请求数”和“用户速率限制”防止滥用。记录日志确保 Dify 的访问日志和错误日志被妥善收集如输出到stdout并由 Docker 日志驱动收集便于排查问题。故障转移与降级对于关键生产应用考虑配置备用模型。虽然 Dify 界面不直接提供故障自动转移但你可以在架构设计上通过监控主模型可用性在故障时手动或通过脚本快速切换到备用模型配置。设计降级策略例如当付费模型服务不可用时能否暂时切换到性能稍差但可用的本地模型保证核心功能可用。数据隐私与合规如果处理敏感数据优先选择支持数据不落地的云服务商如某些区域的 Azure OpenAI或直接使用本地模型Ollama。了解并遵守你所用模型服务商的数据处理协议。成功接入大模型只是利用 Dify 构建 AI 应用的第一步但却是最基础、最关键的一步。它决定了你的应用能调用什么样的“大脑”。掌握从云端 GPT 到本地 Llama 的多种接入方式能让你在面对不同场景需求时游刃有余。接下来你可以基于已接入的模型深入探索 Dify 的另外两大核心能力利用“知识库”功能为模型注入私有数据以及使用“工作流”可视化编排复杂的多步骤 AI 任务。将模型、知识、流程三者结合才能真正释放出 AI 应用开发的巨大潜力。
Dify平台大模型接入实战：从OpenAI到本地Ollama的完整配置指南
在 AI 应用开发领域快速构建一个能够实际运行、稳定可靠的智能体或工作流往往需要处理模型接入、流程编排、知识库构建、部署上线等一系列复杂环节。Dify 作为一个开源的 AI 应用开发平台其核心价值在于将上述环节标准化、可视化让开发者能够专注于业务逻辑而非底层架构。而这一切的起点就是如何将不同的大语言模型LLM无缝接入到 Dify 平台中。无论是 OpenAI 的 GPT 系列、Anthropic 的 Claude还是开源的 Llama、Qwen甚至是本地部署的 Ollama 模型Dify 都提供了统一的配置入口。理解并掌握模型接入是使用 Dify 构建任何 AI 应用的第一步也是决定应用能力上限和成本控制的关键一步。对于刚接触 Dify 的开发者来说模型配置界面中众多的参数和选项可能会让人感到困惑。API 密钥在哪里获取Base URL 是什么模型名称如何填写为什么配置后测试调用总是失败本文将围绕“Dify 接入大模型”这一核心任务从原理到实践详细拆解配置流程。我们将以 OpenAI 和本地 Ollama 为例手把手完成从零配置到成功调用的全过程并深入分析每个参数的含义、常见配置错误的排查方法以及在生产环境中管理多模型的最佳实践。无论你是希望快速验证一个 AI 想法还是为企业构建一个严肃的生产级应用本文都将为你提供清晰、可操作的路径。1. 理解 Dify 的模型供应商与模型配置机制在开始动手配置之前我们需要先理解 Dify 是如何抽象和管理大语言模型的。这有助于我们在遇到问题时能够快速定位是配置错误、网络问题还是模型本身的问题。1.1 核心概念模型供应商 vs. 模型Dify 将模型提供方抽象为“模型供应商”Model Provider将具体的模型实例抽象为“模型”Model。这是一种清晰的分层设计。模型供应商指的是提供模型服务的平台或接口。例如OpenAI提供 GPT-3.5、GPT-4 等模型。Azure OpenAI微软云提供的 OpenAI 服务。Anthropic提供 Claude 系列模型。Ollama一个在本地运行和管理开源大模型的工具。通义千问、智谱AI、百度千帆等国内服务商。模型指在某个供应商下可供选择的具体模型。例如在OpenAI供应商下你可以创建名为gpt-4o、gpt-3.5-turbo的模型配置。这种设计的好处是你可以在一个供应商下配置多个模型例如不同版本或不同能力的模型并在应用的工作流或聊天助手Agent中灵活切换而无需重复填写 API 密钥、Base URL 等通用信息。1.2 配置信息的构成为一个大模型创建可用的配置通常需要以下几类信息认证信息主要是 API Key用于向模型服务商证明你的调用权限。对于 OpenAI你需要在 OpenAI 平台创建对于 Ollama通常无需密钥但需要确保网络可达。端点信息即 API 的 Base URL。对于云服务这是固定的如https://api.openai.com/v1对于本地或自定义部署你需要指定服务地址如http://localhost:11434/v1。模型标识服务商内部用于区分不同模型的唯一名称。如gpt-4o、claude-3-5-sonnet-20241022、llama3.2等。能力与限制包括模型支持的上下文长度Token 数、是否支持函数调用Function Calling、是否支持流式输出等。Dify 会根据这些信息来优化调用方式。1.3 Dify 支持的模型类型与典型场景为了帮助你根据需求选择合适的模型下表列出了 Dify 中几种常见的模型供应商及其典型使用场景模型供应商典型模型示例主要特点适用场景成本与部署OpenAIgpt-4o, gpt-4-turbo, gpt-3.5-turbo能力强大生态成熟API 稳定响应速度快。对回答质量、逻辑推理、代码生成要求高的通用场景。按 Token 付费需网络访问。Azure OpenAIgpt-4, gpt-35-turbo企业级服务提供数据隐私、合规性保障与 Azure 生态集成好。企业级应用对数据安全、服务等级协议有要求的场景。企业采购通常有私有化部署选项。Anthropic Claudeclaude-3-5-sonnet, claude-3-haiku长上下文处理能力强在文档分析、写作、安全策略上表现突出。长文本总结、文档分析、内容创作、需要“安全”输出的场景。按 Token 付费需网络访问。Ollama (本地)llama3.2, qwen2.5, mistral完全本地运行数据不出域无网络依赖可离线使用。对数据隐私要求极高、网络环境受限、或希望零 API 成本的内部工具场景。免费但需要本地计算资源GPU/CPU。国内服务商(如智谱、月之暗面)glm-4, moonshot-v1对中文优化好国内访问速度快符合国内监管要求。主要面向中文用户要求低延迟、合规的应用。按 Token 付费或套餐制。理解这些差异后我们就可以开始准备环境并进行实际配置了。接下来我们将以最常用的OpenAI和完全私有的Ollama为例完成两种典型的接入流程。2. 环境准备与 Dify 部署在配置模型之前你需要有一个正在运行的 Dify 实例。你可以选择使用 Dify 官方提供的云服务但为了更深入地理解整个过程并拥有完全的控制权我们强烈建议在本地或自有服务器上进行部署。2.1 部署方式选择Dify 提供了多种部署方式对于学习和开发环境我们推荐使用 Docker Compose这是最快捷、依赖最清晰的方式。Docker Compose推荐一键启动所有服务前端、后端、数据库等适合快速开始。源码部署适合需要深度定制或开发 Dify 本身的场景。云服务直接使用 Dify Cloud免运维但模型配置逻辑完全一致。2.2 使用 Docker Compose 部署 Dify确保你的系统已安装 Docker 和 Docker Compose。以下步骤在 Linux/macOS 的终端或 Windows 的 PowerShell/WSL 中执行。克隆仓库并进入目录git clone https://github.com/langgenius/dify.git cd dify/docker复制环境变量文件并修改关键配置cp .env.example .env使用文本编辑器如vim,nano或 VSCode打开.env文件。对于基础学习你主要需要关注以下两个设置确保它们没有被防火墙阻挡OPENAI_API_KEY可以先留空我们后续在界面配置。DB_PASSWORD为 PostgreSQL 数据库设置一个强密码。启动 Dify 服务docker-compose up -d这个命令会拉取镜像并启动所有容器。首次运行可能需要几分钟时间下载镜像。验证服务状态docker-compose ps你应该看到dify-api和dify-web等容器的状态为Up (healthy)。访问 Dify 在浏览器中打开http://localhost:3000。如果一切正常你将看到 Dify 的初始化设置页面。按照指引完成管理员账号的创建。注意如果端口 3000 被占用你可以在.env文件中修改WEB_PORT和API_PORT的值并重启服务。至此你的 Dify 开发环境已经就绪。接下来我们进入核心环节——配置大模型。3. 配置 OpenAI 模型供应商与模型OpenAI 的 API 是目前生态最完善、文档最丰富的服务之一是学习 Dify 模型接入的理想起点。3.1 获取 OpenAI API Key访问 OpenAI Platform 并登录。点击右上角个人头像选择 “View API keys”。点击 “Create new secret key”为你的 Dify 应用创建一个新的密钥。请务必妥善保存此密钥因为它只显示一次。你可以为其命名例如 “Dify_Dev”。3.2 在 Dify 中添加 OpenAI 供应商登录你的 Dify 控制台。在左侧导航栏中找到并点击“模型供应商”Model Providers。点击页面上的“添加模型供应商”按钮。在供应商列表中找到并选择“OpenAI”。填写配置表单供应商名称自定义一个易于识别的名字如 “My-OpenAI”。API Key粘贴你刚刚获取的 OpenAI API Key。API Base URL保持默认的https://api.openai.com/v1。除非你使用代理或自定义的 OpenAI 兼容端点否则不要修改。组织 ID可选如果你在 OpenAI 平台属于某个组织可以在此填写。点击“保存”。保存成功后该供应商会出现在供应商列表中。3.3 在 OpenAI 供应商下创建具体模型添加了供应商相当于建立了连接通道。现在我们需要在这个通道上定义具体的“车辆”——模型。在“模型供应商”页面找到你刚创建的 “My-OpenAI” 供应商点击其右侧的“添加模型”按钮。填写模型配置模型类型选择 “文本生成” (LLM)。对于 GPT 系列都选这个。模型这里需要填写 OpenAI 官方的模型名称。例如gpt-4o(最新旗舰模型性价比高)gpt-4-turbogpt-3.5-turbo(成本最低速度最快)模型名称这是在 Dify 内部显示的名字可以自定义如 “GPT-4o 主力模型”。支持的上下文长度根据模型能力填写。例如gpt-4o支持 128Kgpt-3.5-turbo支持 16K。填写正确的数值有助于 Dify 进行上下文窗口管理。函数调用如果你的应用需要让模型调用外部工具如查询天气、执行计算请确保开启。GPT-3.5-turbo 和 GPT-4 系列都支持。其他参数如Max Tokens单次回复最大长度、Temperature创造性默认 0.7等可以保持默认后续在应用编排中也可以按需调整。点击“添加”。3.4 测试模型连接添加模型后强烈建议立即进行测试。在模型列表中找到你刚添加的模型点击其右侧的“测试”按钮。在弹出的测试对话框中输入一个简单的问题如 “请用中文介绍一下你自己。”点击发送。如果配置正确几秒内你就会收到模型的回复。测试成功的意义这验证了从你的 Dify 服务器到 OpenAI API 的网络是通的API Key 是有效的模型名称是正确的。这是后续所有应用开发的基础。4. 配置本地 Ollama 模型供应商与模型对于数据敏感、需要离线运行或希望零 API 成本的场景在本地部署开源模型是绝佳选择。Ollama 极大地简化了本地大模型的下载、运行和管理。4.1 安装并运行 Ollama安装 Ollama访问 Ollama 官网 根据你的操作系统Windows/macOS/Linux下载并安装。拉取并运行一个模型打开终端执行以下命令拉取一个中等大小的模型例如 Llama 3.2。ollama pull llama3.2 ollama run llama3.2运行后你可以在终端与模型直接对话按CtrlD退出。这证明 Ollama 服务已在本地正常运行默认 API 端口是11434。4.2 在 Dify 中添加 Ollama 供应商Ollama 提供了与 OpenAI 兼容的 API 接口这使得 Dify 可以将其识别为一个“供应商”。在 Dify 的“模型供应商”页面点击“添加模型供应商”。这次在列表中选择“自定义”或“OpenAI 兼容”不同 Dify 版本名称可能略有不同。其核心是配置一个兼容 OpenAI API 格式的端点。填写配置表单供应商名称如 “My-Local-Ollama”。API KeyOllama 默认不需要 API Key可以留空或填写任意字符如ollama。有些安全设置严格的 Ollama 部署可能需要配置密钥。API Base URL这是关键。填写 Ollama 服务的地址。如果 Dify 和 Ollama 运行在同一台机器上则为http://localhost:11434/v1。如果 Ollama 运行在另一台服务器如内网另一台机器则需填写其 IP 和端口如http://192.168.1.100:11434/v1。点击“保存”。4.3 在 Ollama 供应商下创建具体模型在 “My-Local-Ollama” 供应商下点击“添加模型”。填写模型配置模型类型选择 “文本生成” (LLM)。模型这里填写你在 Ollama 中拉取的模型名称例如llama3.2。注意这个名称必须与ollama list命令列出的名称完全一致。模型名称自定义如 “本地 Llama 3.2”。支持的上下文长度需要查阅该模型的具体信息。Llama 3.2 通常支持 8K 或 128K建议先填写一个保守值如8192。点击“添加”。4.4 测试本地模型连接同样点击新模型的“测试”按钮。输入测试问题。由于本地模型通常性能弱于云端大模型首次响应可能较慢取决于你的硬件。如果成功返回答案则证明本地模型接入成功。关键点如果测试失败最常见的原因是网络连通性。请确保 Dify 容器能访问到运行 Ollama 的主机和端口。你可以尝试在运行 Dify 的服务器上执行curl http://localhost:11434/v1/models来测试连通性。如果 Ollama 不在本机请替换为对应的 IP。5. 在应用中使用已配置的模型模型配置并测试成功后就可以在 Dify 的各个功能模块中使用它们了。5.1 在“应用”中配置模型创建一个新的“对话型”或“工作流”应用。进入应用编排界面在左侧的“提示词编排”或“工作流”区域找到“模型”配置模块。点击模型选择框你会看到一个下拉列表其中包含了你在“模型供应商”中配置的所有可用模型。选择你想要的模型例如 “GPT-4o 主力模型”。你还可以在此处微调模型参数如Temperature、Max Tokens等。这些设置会覆盖模型配置中的默认值但仅对当前应用生效。5.2 在工作流中使用模型节点在工作流编辑器中从节点库中拖拽一个“LLM”节点到画布上。点击该 LLM 节点进行配置。在配置面板中同样可以选择已配置的模型。你可以连接上游节点如知识库检索结果、变量作为该 LLM 节点的输入从而构建复杂的 AI 处理流水线。5.3 模型切换与 A/B 测试Dify 的优势在于模型的可插拔性。你可以在不同环境开发、测试、生产或同一应用的不同版本中轻松切换底层模型而无需修改业务逻辑代码。例如在开发时使用本地的llama3.2以节省成本上线时切换到gpt-4o以保证质量。6. 常见问题排查与解决方案接入模型时你可能会遇到各种问题。下面是一个快速排查清单问题现象可能原因检查步骤解决方案测试模型时提示“模型不可用”或超时1. API Key 错误或失效。2. 网络无法访问 API 端点。3. 模型名称填写错误。4. 账户余额不足或请求超限。1. 检查 API Key 是否复制完整前后无空格。2. 在服务器上使用curl或ping测试网络连通性。3. 核对供应商官方文档中的模型名称列表。4. 登录云服务商控制台查看用量和余额。1. 重新生成并粘贴 API Key。2. 配置网络代理或检查防火墙规则。3. 修正模型名称。4. 充值或等待限额重置。Ollama 模型测试失败提示连接错误1. Ollama 服务未启动。2. Dify 容器无法访问 Ollama 主机/端口。3. Base URL 填写错误。1. 在 Ollama 主机执行ollama serve查看状态。2. 在 Dify 容器内执行curl http://ollama_host:11434/v1/models。3. 确认 Base URL 包含/v1路径。1. 启动 Ollama 服务 (ollama serve)。2. 确保 Docker 网络配置正确或使用host网络模式启动 Dify。3. 修正 Base URL。模型能连接但返回内容乱码或不符合预期1. 模型本身能力限制。2. 提示词Prompt设计不佳。3. Temperature 等参数设置不合理。1. 使用相同的提示词在官方 Playground 测试对比。2. 检查并优化应用中的系统提示词和用户输入。3. 调整Temperature(降低以获得更确定输出) 和Max Tokens。1. 考虑更换更强模型。2. 学习并应用 Prompt Engineering 技巧。3. 在模型配置或应用编排中调整参数。配置了知识库但模型回答未引用知识1. 应用未启用“知识库”功能。2. 检索到的内容与问题相关性低。3. 模型配置中未正确关联知识库检索节点。1. 检查应用设置中是否添加并启用了知识库。2. 检查知识库文档的切片方式和检索阈值。3. 在工作流中确认 LLM 节点的输入包含了知识库检索节点的输出。1. 在应用中添加并启用目标知识库。2. 优化知识库文档质量和检索参数。3. 在工作流画布上正确连接节点。流式输出不工作1. 浏览器或网络问题。2. 模型供应商不支持或流式输出被关闭。3. Dify 后端配置问题。1. 更换浏览器或网络环境测试。2. 检查模型供应商的 API 是否支持 Server-Sent Events (SSE)。3. 查看 Dify 服务日志。1. 通常云端模型OpenAI都支持流式输出确保前端配置无误。2. 对于 Ollama确保其版本较新并支持流式。3. 重启 Dify 相关服务。7. 生产环境最佳实践与安全建议当你的应用从开发测试走向生产时模型接入需要考虑更多因素。密钥管理切勿硬编码永远不要将 API Key 直接写在代码或配置文件中提交到代码仓库。使用环境变量在 Docker Compose 的.env文件中配置OPENAI_API_KEY等敏感信息并确保该文件被加入.gitignore。密钥轮换定期更新 API Key并在服务商控制台上删除旧的密钥。多环境配置为开发、测试、生产环境配置不同的模型供应商和模型。例如开发环境用本地 Ollama生产环境用 Azure OpenAI。可以利用 Dify 的“模型”配置通过命名来区分环境如gpt-4-prod、gpt-4-staging。监控与限流监控用量和成本定期查看云服务商的控制台监控 Token 消耗和费用设置预算警报。实施应用级限流在 Dify 的应用设置中可以配置“每秒请求数”和“用户速率限制”防止滥用。记录日志确保 Dify 的访问日志和错误日志被妥善收集如输出到stdout并由 Docker 日志驱动收集便于排查问题。故障转移与降级对于关键生产应用考虑配置备用模型。虽然 Dify 界面不直接提供故障自动转移但你可以在架构设计上通过监控主模型可用性在故障时手动或通过脚本快速切换到备用模型配置。设计降级策略例如当付费模型服务不可用时能否暂时切换到性能稍差但可用的本地模型保证核心功能可用。数据隐私与合规如果处理敏感数据优先选择支持数据不落地的云服务商如某些区域的 Azure OpenAI或直接使用本地模型Ollama。了解并遵守你所用模型服务商的数据处理协议。成功接入大模型只是利用 Dify 构建 AI 应用的第一步但却是最基础、最关键的一步。它决定了你的应用能调用什么样的“大脑”。掌握从云端 GPT 到本地 Llama 的多种接入方式能让你在面对不同场景需求时游刃有余。接下来你可以基于已接入的模型深入探索 Dify 的另外两大核心能力利用“知识库”功能为模型注入私有数据以及使用“工作流”可视化编排复杂的多步骤 AI 任务。将模型、知识、流程三者结合才能真正释放出 AI 应用开发的巨大潜力。
