就此AI就此AI

Kong AI Gateway

Kong AI Gateway 提供模型代理、AI 请求治理与观测;现有 Kong Gateway 插件模式与 AI Gateway 2.x 策略模式需区分

访问官网 ↗

详细介绍

Kong AI Gateway 为模型 API 流量提供代理、路由和治理能力。当前文档同时维护 Kong Gateway 的 AI 插件模式,以及较新的 AI Gateway 2.x Policy/AI Model 实体模式,部署时须按所用版本选文档。

核心特性

  • AI Proxy:解析标准模型请求并转换到支持的上游协议;部分高级路由、负载均衡和重试能力依 Advanced 版本。
  • 治理插件:可组合语义缓存、Token 速率限制、Prompt Guard、内容安全、提示模板和请求/响应转换。
  • 部署:官方文档列出 Konnect 托管与 self-hosted 等模式,插件与功能可用性取决于 Gateway 分发版、版本和许可。
  • 版本演进:AI Gateway 2.x 使用 Policy 和 AI Model 实体配置,不应将旧插件部署步骤与 2.x 配置混为一谈。

应用场景

  • 使用 Kong 治理模型上游调用
  • 对 AI 流量应用限速、缓存和安全插件
  • 按 Kong Gateway 版本选用插件或 2.x 策略模型

官方资料:Kong AI Gateway、AI Gateway 2.x。

常见问题

Kong AI Gateway是什么?

Kong AI Gateway 是 Kong AI Gateway 提供模型代理、AI 请求治理与观测;现有 Kong Gateway 插件模式与 AI Gateway 2.x 策略模式需区分,属于「API」分类,常见标签:聚合平台、API、多模型、网关、企业级。

Kong AI Gateway有哪些主要功能?

主要功能包括:AI Proxy:解析标准模型请求并转换到支持的上游协议;部分高级路由、负载均衡和重试能力依 Advanced 版本。;治理插件:可组合语义缓存、Token 速率限制、Prompt Guard、内容安全、提示模板和请求/响应转换。;部署:官方文档列出 Konnect 托管与 self-hosted 等模式,插件与功能可用性取决于 Gateway 分发版、版本和许可。;版本演进:AI Gateway 2.x 使用 Policy 和 AI Model 实体配置,不应将旧插件部署步骤与 2.x 配置混为一谈。。

Kong AI Gateway适合哪些使用场景?

常见使用场景包括:使用 Kong 治理模型上游调用;对 AI 流量应用限速、缓存和安全插件;按 Kong Gateway 版本选用插件或 2.x 策略模型。

Kong AI Gateway的同类替代工具有哪些?

与Kong AI Gateway同属「API」分类的工具包括LiteLLM、Higress、Portkey、Cloudflare AI Gateway等;它们与Kong AI Gateway共同覆盖「聚合平台、API、多模型、网关」等标签。

Kong AI Gateway的官网地址是什么?

Kong AI Gateway 的官网是 https://konghq.com/products/kong-ai-gateway。

你可能还喜欢

正在加载完整版…