LiteLLM

LiteLLM 是目前最流行的开源 AI 网关，提供统一的 OpenAI 兼容接口访问 140+ 模型供应商、1800+ 模型，被 NVIDIA、Netflix、Okta 等团队用于生产环境。

核心特性

统一接入

• 140+ 模型供应商：OpenAI、Anthropic、Google、Azure、Bedrock 及自托管模型
• 一个 API Key 访问全部模型，切换模型无需改代码
• 支持 Agent 与 MCP 服务器统一代理
• 新模型发布当天即可接入

治理与成本

• 虚拟 Key 与额度管理，按团队、项目、应用分级
• 硬预算上限，超限自动熔断
• 用量与花费全链路追踪，支持企业分摊计费
• 负载均衡与最低成本路由，自动选择最便宜的可用模型
• 语义缓存，重复问题不再重复计费

安全与部署

• Guardrails 防护：PII 脱敏、提示注入检测
• SSO、JWT 认证、RBAC 与审计日志（企业版）
• Docker 一键部署，支持 Helm/K8s 与完全离线环境
• MIT 开源协议，240M+ Docker 拉取量

应用场景

• 企业统一模型接入层
• 多供应商成本优化与容灾
• 团队 API 预算管控
• Agent 应用的模型路由