Kong AI Gateway

Kong AI Gateway 是基于 Kong 成熟 API 网关能力构建的 AI 网关产品，为 LLM 流量提供统一接入、智能路由与企业级治理。

核心特性

多模型接入与路由

• 统一接入 OpenAI、Anthropic、Google 等主流模型
• 多模型负载均衡与故障转移
• 语义路由：根据请求内容路由到最合适的模型

成本与性能

• 语义缓存，相似请求命中缓存降低成本
• Token 与成本限额
• 请求级日志与用量分析

安全与治理

• Guardrails：PII 脱敏、提示注入检测
• 认证、限流与审计（延续 Kong 网关能力）
• 支持 MCP 代理

部署方式

• 开源社区版：基础 AI 插件
• 企业版：多模型负载均衡、语义缓存、Guardrails 等高级能力
• 支持自托管与 Kong Konnect 云服务

应用场景

• 已使用 Kong 的团队平滑扩展 AI 能力
• 企业级 LLM 流量治理
• 多模型统一接入与成本管控