Groq

Groq 是一家 AI 推理芯片公司，其自研 LPU（语言处理单元）架构为 LLM 推理提供极低延迟，GroqCloud 提供 OpenAI 兼容 API，支持 Llama、DeepSeek 等主流开源模型。

主要特点

⚡ 极速推理

• LPU 架构推理速度全球领先，token 输出极快
• 适合高并发与实时交互场景

🔌 开发者友好

• OpenAI 兼容 API，迁移成本低
• 提供免费的开发者额度

🧠 模型丰富

• 支持 Llama、DeepSeek、Gemma 等开源模型
• 持续上新前沿模型

使用场景

• 低延迟实时 AI 应用
• 大流量聊天与客服系统
• Agent 应用的高频推理
• 开发者原型快速验证