Higress
CNCF Sandbox 云原生 AI 网关,统一治理模型 API、MCP 工具与 Kubernetes 推理工作负载
访问官网 ↗
详细介绍
Higress 是 CNCF Sandbox 云原生 API/AI 网关。当前产品将 LLM API、MCP 工具和 Kubernetes 推理工作负载纳入同一入口治理,提供开源版和阿里云托管商业版。
核心特性
- LLM Gateway:支持常见模型 API 协议转换与模型级 fallback。
- MCP Gateway:代理工具和 MCP Server,提供身份认证、协议转换及流量治理。
- 模型推理流量:支持 Kubernetes Gateway API Inference Extension 相关路由组件。
- 安全与治理:包括隐私保护、内容过滤、精确/语义缓存和 Token 管理。
- 部署:可 Docker 本地试用或运行于 Kubernetes;阿里云 Serverless/企业版是独立托管商业服务。
应用场景
- Kubernetes 内多模型 API 入口
- MCP 工具服务接入和安全审计
- 模型调用缓存、故障切换及 Token 管控
官方资料:Higress、项目文档。
常见问题
Higress是什么?
Higress 是 CNCF Sandbox 云原生 AI 网关,统一治理模型 API、MCP 工具与 Kubernetes 推理工作负载,属于「API」分类,常见标签:聚合平台、API、多模型、开源、国产。
Higress有哪些主要功能?
主要功能包括:LLM Gateway:支持常见模型 API 协议转换与模型级 fallback。;MCP Gateway:代理工具和 MCP Server,提供身份认证、协议转换及流量治理。;模型推理流量:支持 Kubernetes Gateway API Inference Extension 相关路由组件。;安全与治理:包括隐私保护、内容过滤、精确/语义缓存和 Token 管理。;部署:可 Docker 本地试用或运行于 Kubernetes;阿里云 Serverless/企业版是独立托管商业服务。。
Higress适合哪些使用场景?
常见使用场景包括:Kubernetes 内多模型 API 入口;MCP 工具服务接入和安全审计;模型调用缓存、故障切换及 Token 管控。
Higress是免费的吗?
根据官方资料:部署:可 Docker 本地试用或运行于 Kubernetes;阿里云 Serverless/企业版是独立托管商业服务。。
你可能还喜欢