Agent Router（原 Envoy AI Gateway）
Agentic AI Foundation 开源项目，基于 Envoy 为模型 API 与 MCP 工具提供统一路由
访问官网 ↗
详细介绍
Agent Router 原名 Envoy AI Gateway，于 2026 年加入 Agentic AI Foundation。项目代码与维护团队延续，使用 Envoy 处理流量，为 AI 应用提供模型 API 和 MCP 工具的统一路由入口；可在本机或 Kubernetes 部署，也有基于该项目的商业托管服务。
核心特性
模型路由
- 为多个模型提供商提供统一的 OpenAI 兼容 API
- 管理凭据、模型名映射、提供商故障转移与 Token 限额
- 支持 Kubernetes InferencePool 的推理感知路由
MCP 与观测
- 聚合多个 MCP 服务器的工具目录，并可按调用方筛选工具
- 观测模型、Token 数、首 Token 延迟与故障转移情况
- 支持 OpenTelemetry GenAI 约定
部署方式
- 可在本机运行，也可部署到 Kubernetes 或专用网关
- 项目加入 Agentic AI Foundation，由社区开放维护
- Tetrate 等厂商提供基于该项目的托管或企业产品，功能与授权另行区分
应用场景
- 多模型与 MCP 工具统一路由
- 平台工程团队构建 AI 基础设施
- 大规模 LLM 流量治理
常见问题
Agent Router（原 Envoy AI Gateway）是什么？
Agent Router（原 Envoy AI Gateway） 是 Agentic AI Foundation 开源项目，基于 Envoy 为模型 API 与 MCP 工具提供统一路由，属于「API」分类，常见标签：聚合平台、API、多模型、开源、网关。
Agent Router（原 Envoy AI Gateway）有哪些主要功能？
主要功能包括：为多个模型提供商提供统一的 OpenAI 兼容 API；管理凭据、模型名映射、提供商故障转移与 Token 限额；支持 Kubernetes InferencePool 的推理感知路由；聚合多个 MCP 服务器的工具目录，并可按调用方筛选工具；观测模型、Token 数、首 Token 延迟与故障转移情况。
Agent Router（原 Envoy AI Gateway）适合哪些使用场景？
常见使用场景包括：多模型与 MCP 工具统一路由；平台工程团队构建 AI 基础设施；大规模 LLM 流量治理。
Agent Router（原 Envoy AI Gateway）的同类替代工具有哪些？
与Agent Router（原 Envoy AI Gateway）同属「API」分类的工具包括LiteLLM、Higress、AISIX、HelixML等；它们与Agent Router（原 Envoy AI Gateway）共同覆盖「聚合平台、API、多模型、开源」等标签。
Agent Router（原 Envoy AI Gateway）怎么使用？
使用方式：可在本机运行，也可部署到 Kubernetes 或专用网关；项目加入 Agentic AI Foundation，由社区开放维护；Tetrate 等厂商提供基于该项目的托管或企业产品，功能与授权另行区分。
你可能还喜欢
就此AI