LiteLLM
开源 Python SDK 与自托管 AI Gateway,提供统一模型调用、虚拟密钥、成本追踪与治理
访问官网 ↗
详细介绍
LiteLLM 提供 Python SDK 和自托管 Proxy/Gateway,以统一接口调用多个模型供应商,并为团队管理模型路由、密钥、支出和访问策略。
核心特性
统一接入
- 使用统一的 SDK 接口调用受支持的云端和自托管供应商。
- Proxy 可配置多个模型部署,提供 OpenAI 兼容 API、重试和故障切换。
- 虚拟密钥可限制模型访问,并支持按 key、team 和 user 跟踪支出及预算。
- 可通过 MCP Gateway 接入注册的 MCP 服务器,权限依 key/team 设置。
治理与成本
- 虚拟 Key 与额度管理,按团队、项目、应用分级
- 部署需要数据库等配置;云环境、版本和 Enterprise 功能可用范围不同。
应用场景
- 团队自托管模型接入层
- 多供应商路由与故障切换
- 虚拟 Key、预算和成本追踪
- 受控的 MCP 工具代理
官方资料:LiteLLM 文档、Proxy 功能。
常见问题
LiteLLM是什么?
LiteLLM 是开源 Python SDK 与自托管 AI Gateway,提供统一模型调用、虚拟密钥、成本追踪与治理,属于「API」分类,常见标签:聚合平台、API、多模型、开源、网关。
LiteLLM有哪些主要功能?
主要功能包括:使用统一的 SDK 接口调用受支持的云端和自托管供应商。;Proxy 可配置多个模型部署,提供 OpenAI 兼容 API、重试和故障切换。;虚拟密钥可限制模型访问,并支持按 key、team 和 user 跟踪支出及预算。;可通过 MCP Gateway 接入注册的 MCP 服务器,权限依 key/team 设置。;虚拟 Key 与额度管理,按团队、项目、应用分级。
LiteLLM适合哪些使用场景?
常见使用场景包括:团队自托管模型接入层;多供应商路由与故障切换;虚拟 Key、预算和成本追踪;受控的 MCP 工具代理。
LiteLLM怎么使用?
使用方式:使用统一的 SDK 接口调用受支持的云端和自托管供应商。;Proxy 可配置多个模型部署,提供 OpenAI 兼容 API、重试和故障切换。;虚拟密钥可限制模型访问,并支持按 key、team 和 user 跟踪支出及预算。;可通过 MCP Gateway 接入注册的 MCP 服务器,权限依 key/team 设置。。
你可能还喜欢