「网关」相关的 AI 工具

标签「网关」下的 11 个 AI 工具推荐，附功能介绍和官网链接。

• LiteLLM开源 Python SDK 与自托管 AI Gateway，提供统一模型调用、虚拟密钥、成本追踪与治理
• HigressCNCF Sandbox 云原生 AI 网关，统一治理模型 API、MCP 工具与 Kubernetes 推理工作负载
• PortkeyPortkey（现为 PRISMA AIRS AI Gateway）提供多模型路由、可观测性、Guardrails 与治理
• Cloudflare AI GatewayCloudflare AI Gateway 为自有模型 API 提供统一调用入口、日志、分析、缓存、限流和回退
• Kong AI GatewayKong AI Gateway 提供模型代理、AI 请求治理与观测；现有 Kong Gateway 插件模式与 AI Gateway 2.x 策略模式需区分
• Agent Router（原 Envoy AI Gateway）Agentic AI Foundation 开源项目，基于 Envoy 为模型 API 与 MCP 工具提供统一路由
• HeliconeLLM 可观测平台与 AI Gateway，提供多模型 API、请求日志、成本分析、故障转移和缓存
• AISIXAPI7 团队推出的开源 AI 网关，以 OpenAI 兼容 API 接入多家模型并治理 LLM 流量
• Orq托管 AI Gateway 与开发平台，提供多模型路由、请求观测、成本控制及代理构建评估
• HelixML开源可自托管的企业 GenAI 平台，提供 AI Agent、代码代理、RAG 与模型供应商接入
• Zuplo托管 API 平台的 AI Gateway，支持多模型路由、语义缓存、预算控制与安全策略