就此AI就此AI

LiteLLM

开源 Python SDK 与自托管 AI Gateway,提供统一模型调用、虚拟密钥、成本追踪与治理

访问官网 ↗

详细介绍

LiteLLM 提供 Python SDK 和自托管 Proxy/Gateway,以统一接口调用多个模型供应商,并为团队管理模型路由、密钥、支出和访问策略。

核心特性

统一接入

  • 使用统一的 SDK 接口调用受支持的云端和自托管供应商。
  • Proxy 可配置多个模型部署,提供 OpenAI 兼容 API、重试和故障切换。
  • 虚拟密钥可限制模型访问,并支持按 key、team 和 user 跟踪支出及预算。
  • 可通过 MCP Gateway 接入注册的 MCP 服务器,权限依 key/team 设置。

治理与成本

  • 虚拟 Key 与额度管理,按团队、项目、应用分级
  • 部署需要数据库等配置;云环境、版本和 Enterprise 功能可用范围不同。

应用场景

  • 团队自托管模型接入层
  • 多供应商路由与故障切换
  • 虚拟 Key、预算和成本追踪
  • 受控的 MCP 工具代理

官方资料:LiteLLM 文档、Proxy 功能。

常见问题

LiteLLM是什么?

LiteLLM 是开源 Python SDK 与自托管 AI Gateway,提供统一模型调用、虚拟密钥、成本追踪与治理,属于「API」分类,常见标签:聚合平台、API、多模型、开源、网关。

LiteLLM有哪些主要功能?

主要功能包括:使用统一的 SDK 接口调用受支持的云端和自托管供应商。;Proxy 可配置多个模型部署,提供 OpenAI 兼容 API、重试和故障切换。;虚拟密钥可限制模型访问,并支持按 key、team 和 user 跟踪支出及预算。;可通过 MCP Gateway 接入注册的 MCP 服务器,权限依 key/team 设置。;虚拟 Key 与额度管理,按团队、项目、应用分级。

LiteLLM适合哪些使用场景?

常见使用场景包括:团队自托管模型接入层;多供应商路由与故障切换;虚拟 Key、预算和成本追踪;受控的 MCP 工具代理。

LiteLLM的同类替代工具有哪些?

与LiteLLM同属「API」分类的工具包括Higress、Agent Router(原 Envoy AI Gateway)、AISIX、HelixML等;它们与LiteLLM共同覆盖「聚合平台、API、多模型、开源」等标签。

LiteLLM的官网地址是什么?

LiteLLM 的官网是 https://www.litellm.ai/。

LiteLLM怎么使用?

使用方式:使用统一的 SDK 接口调用受支持的云端和自托管供应商。;Proxy 可配置多个模型部署,提供 OpenAI 兼容 API、重试和故障切换。;虚拟密钥可限制模型访问,并支持按 key、team 和 user 跟踪支出及预算。;可通过 MCP Gateway 接入注册的 MCP 服务器,权限依 key/team 设置。。

你可能还喜欢

正在加载完整版…