Higress

Higress 是阿里云开源的云原生 AI 网关（CNCF Sandbox 项目），为企业构建 AI 中台提供统一的模型代理、安全防护与用量治理能力。

核心特性

多模型代理

• 统一协议转换，支持 100+ 主流大模型
• 模型级 Fallback，单模型故障自动切换
• 针对 DeepSeek 进行功能增强
• 与 Kubernetes 生态无缝集成

应用防护

• 输入侧隐私保护，防止敏感数据外泄
• 输出侧内容过滤，拦截违规内容
• 大模型交互全链路安全管控

成本治理

• AI 缓存：精确缓存与语义缓存，节省 Token 成本
• Token 用量追踪与超额限制
• 消费者额度管理
• 调用数据分析与报表

部署方式

• 开源版免费自托管（Docker/K8s）
• 云上商业化版本，开箱即用
• Himarket 插件市场扩展能力

应用场景

• 企业 AI 中台建设
• 多模型统一接入与容灾
• 大模型调用安全防护
• Token 成本管控与审计