就此AI就此AI

Higress

CNCF Sandbox 云原生 AI 网关,统一治理模型 API、MCP 工具与 Kubernetes 推理工作负载

访问官网 ↗

详细介绍

Higress 是 CNCF Sandbox 云原生 API/AI 网关。当前产品将 LLM API、MCP 工具和 Kubernetes 推理工作负载纳入同一入口治理,提供开源版和阿里云托管商业版。

核心特性

  • LLM Gateway:支持常见模型 API 协议转换与模型级 fallback。
  • MCP Gateway:代理工具和 MCP Server,提供身份认证、协议转换及流量治理。
  • 模型推理流量:支持 Kubernetes Gateway API Inference Extension 相关路由组件。
  • 安全与治理:包括隐私保护、内容过滤、精确/语义缓存和 Token 管理。
  • 部署:可 Docker 本地试用或运行于 Kubernetes;阿里云 Serverless/企业版是独立托管商业服务。

应用场景

  • Kubernetes 内多模型 API 入口
  • MCP 工具服务接入和安全审计
  • 模型调用缓存、故障切换及 Token 管控

官方资料:Higress、项目文档。

常见问题

Higress是什么?

Higress 是 CNCF Sandbox 云原生 AI 网关,统一治理模型 API、MCP 工具与 Kubernetes 推理工作负载,属于「API」分类,常见标签:聚合平台、API、多模型、开源、国产。

Higress有哪些主要功能?

主要功能包括:LLM Gateway:支持常见模型 API 协议转换与模型级 fallback。;MCP Gateway:代理工具和 MCP Server,提供身份认证、协议转换及流量治理。;模型推理流量:支持 Kubernetes Gateway API Inference Extension 相关路由组件。;安全与治理:包括隐私保护、内容过滤、精确/语义缓存和 Token 管理。;部署:可 Docker 本地试用或运行于 Kubernetes;阿里云 Serverless/企业版是独立托管商业服务。。

Higress适合哪些使用场景?

常见使用场景包括:Kubernetes 内多模型 API 入口;MCP 工具服务接入和安全审计;模型调用缓存、故障切换及 Token 管控。

Higress的同类替代工具有哪些?

与Higress同属「API」分类的工具包括AISIX、LiteLLM、Agent Router(原 Envoy AI Gateway)、HelixML等;它们与Higress共同覆盖「聚合平台、API、多模型、开源」等标签。

Higress的官网地址是什么?

Higress 的官网是 https://higress.cn/。

Higress是免费的吗?

根据官方资料:部署:可 Docker 本地试用或运行于 Kubernetes;阿里云 Serverless/企业版是独立托管商业服务。。

你可能还喜欢

正在加载完整版…