Kong AI Gateway
Kong AI Gateway 提供模型代理、AI 请求治理与观测;现有 Kong Gateway 插件模式与 AI Gateway 2.x 策略模式需区分
访问官网 ↗
详细介绍
Kong AI Gateway 为模型 API 流量提供代理、路由和治理能力。当前文档同时维护 Kong Gateway 的 AI 插件模式,以及较新的 AI Gateway 2.x Policy/AI Model 实体模式,部署时须按所用版本选文档。
核心特性
- AI Proxy:解析标准模型请求并转换到支持的上游协议;部分高级路由、负载均衡和重试能力依 Advanced 版本。
- 治理插件:可组合语义缓存、Token 速率限制、Prompt Guard、内容安全、提示模板和请求/响应转换。
- 部署:官方文档列出 Konnect 托管与 self-hosted 等模式,插件与功能可用性取决于 Gateway 分发版、版本和许可。
- 版本演进:AI Gateway 2.x 使用 Policy 和 AI Model 实体配置,不应将旧插件部署步骤与 2.x 配置混为一谈。
应用场景
- 使用 Kong 治理模型上游调用
- 对 AI 流量应用限速、缓存和安全插件
- 按 Kong Gateway 版本选用插件或 2.x 策略模型
官方资料:Kong AI Gateway、AI Gateway 2.x。
常见问题
Kong AI Gateway是什么?
Kong AI Gateway 是 Kong AI Gateway 提供模型代理、AI 请求治理与观测;现有 Kong Gateway 插件模式与 AI Gateway 2.x 策略模式需区分,属于「API」分类,常见标签:聚合平台、API、多模型、网关、企业级。
Kong AI Gateway有哪些主要功能?
主要功能包括:AI Proxy:解析标准模型请求并转换到支持的上游协议;部分高级路由、负载均衡和重试能力依 Advanced 版本。;治理插件:可组合语义缓存、Token 速率限制、Prompt Guard、内容安全、提示模板和请求/响应转换。;部署:官方文档列出 Konnect 托管与 self-hosted 等模式,插件与功能可用性取决于 Gateway 分发版、版本和许可。;版本演进:AI Gateway 2.x 使用 Policy 和 AI Model 实体配置,不应将旧插件部署步骤与 2.x 配置混为一谈。。
Kong AI Gateway适合哪些使用场景?
常见使用场景包括:使用 Kong 治理模型上游调用;对 AI 流量应用限速、缓存和安全插件;按 Kong Gateway 版本选用插件或 2.x 策略模型。
你可能还喜欢