LiteLLM：一个接口调用上百个大模型的开源网关

文章目录LiteLLM一个接口调用上百个大模型的开源网关两种用法按需选择实际解决了什么问题除了调模型还能做什么部署不复杂开源和企业版LiteLLM一个接口调用上百个大模型的开源网关做 AI 应用开发的人大概都遇到过这个问题项目里要同时调 OpenAI、Anthropic、Google 几家的模型每家 SDK 不一样认证方式不一样请求格式也不一样。光是把这些 SDK 装好、封装好就得花不少时间。LiteLLM 就是来解决这个问题的。它是一个开源的 AI 网关Star 数已经超过 5 万核心思路很简单用 OpenAI 的格式去调所有大模型一套代码搞定一切。两种用法按需选择LiteLLM 提供两种使用方式。一种是 Python SDK直接在代码里集成适合开发者在项目中调用。另一种是 AI Gateway 代理服务器部署起来给整个团队用所有请求走统一入口。两种方式都支持 100 多个 LLM 提供商。主流的 OpenAI、Anthropic、Google Gemini、AWS Bedrock、Azure、Mistral、Deepseek 全部在列。连 Ollama 这种本地跑模型的工具、Huggingface 上的开源模型也能接入。基本上你能想到的模型它都支持。实际解决了什么问题LiteLLM 最大的卖点是 OpenAI 兼容格式。也就是说如果你的项目已经在用 OpenAI SDK换成其他模型只需要改一行代码业务逻辑完全不用动。对团队来说代理服务器的功能更实用。它支持虚拟密钥可以给不同项目分配不同的密钥单独追踪每个项目的花费。还能设置预算上限防止某个项目把额度用超了。性能方面官方给的数据是 8 毫秒 P95 延迟每秒处理 1000 个请求。Stripe、Netflix、OpenAI Agents SDK 这些都在生产环境里用了。除了调模型还能做什么LiteLLM 不只是个模型转发工具。它还支持 A2A 协议可以让多个 AI 代理互相通信。比如用 LangGraph 搭建的代理、Google Vertex AI 的代理、Azure AI Foundry 的代理都可以通过 LiteLLM 统一管理和调用。MCP 协议也支持。通过 MCPLLM 可以调用外部工具比如查数据库、调 API、读文件。LiteLLM 把 MCP 工具转成 OpenAI 格式任何模型都能直接用。在 Cursor 这类 IDE 里配置也很方便几行 JSON 就搞定。部署不复杂最简单的方式是 Docker 一行命令启动。生产环境的话项目提供了 Terraform 模块支持一键部署到 AWS 或 GCP。AWS 走的是 ECS Fargate 加 Aurora 加 ElastiCache 的架构GCP 走 Cloud Run 加 Cloud SQL。两个方案都包含数据库、缓存、负载均衡开箱即用。开源和企业版LiteLLM 是开源项目MIT 协议代码全在 GitHub 上。核心功能都在开源版里大多数团队用开源版就够了。企业版额外提供单点登录、优先技术支持、自定义集成这些功能。如果公司对安全合规要求高可以考虑企业版。总的来说LiteLLM 解决的是大模型开发中一个很实际的问题。5 万多 Star 不是白来的项目确实好用。如果你的项目需要调用多个大模型值得花半小时试一下。r 不是白来的项目确实好用。如果你的项目需要调用多个大模型值得花半小时试一下。