APIRank
EN 中文
免费试用

Groq API 测评 2026：LPU 驱动最快 LLM 推理，Llama 3.3 70B 仅 $0.59/M

• API 测评 • ~9 分钟阅读

Groq LPU 推理引擎测评：Llama 3.3 70B $0.59/M tokens、Llama 3.1 8B 1,250 tok/sec、OpenAI 兼容 API、慷慨免费额度、国内访问指南。

TL;DR：Groq 拥有 2026 年最快的 LLM 推理——Llama 3.1 8B 1,250 tok/sec、Llama 3.3 70B ~500 tok/sec，首 token 延迟 <100ms。OpenAI 兼容 API 加每天 1,000 次免费请求，是实时聊天、语音 Agent、代码补全的默认选择。国内访问需稳定代理；如果要国内直连，用 FreeModel。

引言：把延迟当作品质的速度优先型推理服务商

当一个聊天机器人回答要等 8 秒钟，用户早已关闭标签页。在生产级 LLM 应用里，延迟已经悄悄成为最重要的质量指标——而 Groq 把整家公司都押在解决这个问题上。

Groq 是 2016 年由 Jonathan Ross（Google TPU 原始架构师之一）在硅谷山景城创立的芯片公司。其旗舰产品是 LPU（Language Processing Unit）推理引擎——一块自研芯片加上配套编译器栈，从设计之初就为顺序文本生成优化。GPU 推理追求吞吐量，而 LPU 提供 确定性低延迟 token 流式输出：Llama 3.1 8B Instant 在 Groq 上能跑到 1,250 tokens/秒，而同样的模型在大多数云 GPU 上只能跑到 100-200 tokens/秒。

2024 年 Groq 从售卖自建硬件转型为运营公开推理 API。到 2026 年该平台已托管最受欢迎的开源模型——Llama 3.3 70B、Llama 3.1 8B、Mixtral 8x7B、Gemma 2 9B，加上语音转文字的 Whisper Large V3——并通过 OpenAI 兼容的 REST 端点暴露。已有的 OpenAI SDK 代码通常只需要改 2 行就能跑：替换 base URL 和 API key。

本测评覆盖 2026 年的 Groq API：按模型定价、免费额度、LPU 速度的真实表现、纯推理产品的取舍、国内访问方案，以及 Groq 与 Together AI、Fireworks AI、直接 OpenAI 的对比。

Groq API 价格详解

Groq 采用 按 token 计费，按秒结算。没有订阅、没有承诺、没有最低消费。免费额度足够开发和小演示，付费套餐按使用量计费。

模型输入（$/1M）输出（$/1M）上下文LPU 速度（tok/sec）
Llama 3.1 8B Instant$0.05$0.08128K~1,250
Llama 3.3 70B Versatile$0.59$0.79128K~500
Llama 3.1 70B Versatile（旧）$0.59$0.79128K~480
Mixtral 8x7B$0.24$0.2432K~700
Gemma 2 9B$0.20$0.208K~900
Llama Guard 3 8B$0.20$0.208K~1,000
Whisper Large V3（语音）—$0.006/分钟音频——

*价格反映 2026-06-02 公开 API。输出 token 的成本是 Groq 与 GPU 竞品差距最大的地方——Llama 3.3 70B 输出价格大约是 GPT-4o 输出的 1/19。

免费额度：包含什么

  • 30 请求/分钟（每个项目）
  • 14,400 tokens/分钟（每个项目）
  • 1,000 请求/天（每个项目）
  • 无需信用卡
  • 与付费套餐同模型质量
  • 速率限制每分钟和每天 00:00 UTC 重置

对一次 500 token 的回答，30 req/min 让你可以服务大约每秒 1 个聊天用户——非常适合个人开发。生产流量需要升级到付费套餐（付费与免费速率限制相同，只是付费才能放量）。

100 美元能买什么？

工作负载$100 买（Llama 3.3 70B）$100 买（Llama 3.1 8B）
输入 tokens169M tokens2,000M tokens
输出 tokens126M tokens1,250M tokens
平均混合（输入:输出 = 1:3）~140M 总 tokens~1,500M 总 tokens
实际聊天会话（平均 1K 总 tokens）~140,000 次对话~1,500,000 次对话

对 1 万用户 × 5 消息/天 × 1K tokens 的聊天机器人，Llama 3.3 70B 月成本约 $21.50——大约是同等 GPT-4o 用量的 1/4，速度快 5-10 倍。

Groq 的核心优势

  • LPU 速度领先：Llama 3.1 8B 1,250 tok/sec，Llama 3.3 70B ~500 tok/sec。流式响应 100ms 内首 token——大多数 GPU 栈要 1-3 秒。
  • OpenAI 兼容 API：已有的 OpenAI Python/Node SDK 改一行就能用。从 OpenAI 迁移到 Groq 几乎零成本：client = OpenAI(api_key=GROQ_KEY, base_url="https://api.groq.com/openai/v1")。
  • 慷慨的免费额度：1,000 请求/天，无需信用卡，周末 hackathon 项目零成本跑通。大部分竞品免费额度只有 50-200 请求/天。
  • 专注开源模型：Groq 托管顶尖开源模型（Llama 3.3 70B、Mixtral、Gemma），没有闭源模型的数据隐私顾虑——对医疗、金融、法律等受监管行业很有用。
  • Whisper Large V3 极低价：$0.006/分钟音频转录，大约是 OpenAI Whisper API 的 1/10。非常适合呼叫中心转录或播客摘要。
  • 确定性延迟：与 GPU 推理（负载下能波动 2-5 倍）不同，LPU 推理有稳定、可预测的响应时间。这对语音 Agent 至关重要——不一致的延迟会破坏对话流畅度。
  • 无承诺、无最少席位：纯按 token 计费。启动时不需要企业合同谈判。

需要考虑的局限

  • 国内访问需稳定代理：console.groq.com 和 api.groq.com 都在国内被屏蔽。你需要一个稳定的香港、新加坡或美国 VPS 作为正向代理才能注册、管理 API key、调用 API。
  • 模型选择比 OpenAI/Anthropic 少：Groq 只托管开源模型（Llama、Mixtral、Gemma、Whisper）。没有 GPT-4o，没有 Claude，没有 Gemini Pro。如果需要闭源 SOTA，Groq 不合适。
  • 没有 fine-tuning 服务：Groq 是纯推理。如果需要 fine-tune Llama 3.3 70B 到你的数据，必须用另一家（Together AI、Fireworks AI 或自部署），然后只在 Groq 上服务微调后的模型。
  • 免费额度生产环境不够用：30 req/min 和 1K req/day 适合开发但任何正式产品都用不了。生产需要付费。
  • 最大上下文窗口 128K：Groq 的 Llama 模型上限 128K tokens。GPT-4o 提供 1M，Claude 200K。如果你的场景是处理 500 页 PDF，Groq 装不下。
  • 偶尔容量限流：高峰时段（美国工作时间），Groq 免费套餐偶尔返回 429 错误。付费套餐有预留容量，但要留 10-15% 余量。
  • 不支持原生视觉或音频输出（仅文本 LLM）：多模态 LLM 场景需要把 Groq（文本）和另一个视觉 API 组合。

Groq vs Together AI vs Fireworks AI vs OpenAI

维度GroqTogether AIFireworks AIOpenAI（GPT-4o）
推理速度（Llama 3.1 8B）~1,250 tok/sec~150 tok/sec~250 tok/secN/A
Llama 3.3 70B 输入价$0.59/M$0.90/M$0.90/MN/A
Llama 3.3 70B 输出价$0.79/M$0.90/M$0.90/MN/A
免费额度1,000 请求/天$5 credit$1 credit$5（3 个月）
Fine-tuning❌ 不支持✅ 支持✅ 支持✅ 支持
闭源模型❌ 无❌ 无❌ 无✅ GPT-4o、o1
国内访问❌ 需代理❌ 需代理❌ 需代理❌ 需代理
OpenAI 兼容 API✅ 是✅ 是✅ 是— 原生
最佳场景实时聊天、语音微调、批量生产推理SOTA 推理

规律：Groq 在速度和单价上赢，Together AI 在微调和模型丰富度上赢，Fireworks AI 在企业可靠性上赢，OpenAI 在原始模型质量上赢。对延迟敏感的应用，Groq 是 2026 年的默认选择。

使用场景推荐

场景推荐方案理由
实时聊天机器人（首 token <200ms）Groq（Llama 3.1 8B Instant）1,250 tok/sec，$0.05/M 输入
语音 Agent / 电话机器人Groq（Llama 3.3 70B Versatile）确定性低延迟，多语种能力强
代码补全 IDEGroq（Llama 3.1 8B Instant）响应 <100ms，几乎免费
音频转录管线Groq（Whisper Large V3）$0.006/分钟——比 OpenAI Whisper 便宜 10 倍
微调领域模型部署Together AI 或 Fireworks AI只有他们支持微调
长上下文文档分析（500K+ tokens）OpenAI（GPT-4o 1M 上下文）Groq 上限 128K
SOTA 推理（数学、代码）OpenAI（o1、o3）Groq 没有专门推理模型
批量处理（百万级文档）Fireworks AI更高吞吐量，大规模单价更低
国内直连（无需代理）FreeModel 或 DeepSeek都提供直连国内访问

快速上手步骤

  1. 注册：访问 console.groq.com，使用 Google 或 GitHub 账号登录。
  2. 生成 API key：Console → API Keys → Create new key。妥善保管——key 可轮换但不过期。
  3. 安装 OpenAI SDK（或直接用 REST）：pip install openai（Python）、npm install openai（Node.js），或任意 HTTP 客户端。
  4. 测试调用：跑一次 100 token 的 Llama 3.1 8B 请求。首次响应应在 <500ms 内到达。
  5. 从 OpenAI 迁移：把 base_url 改为 https://api.groq.com/openai/v1，并使用 Groq 模型名（如 llama-3.1-8b-instant）。
  6. 扩大用量：从免费升级到付费套餐，获取更高速率限制。无需合同。

常见问题 FAQ

Q：Groq 比 OpenAI 便宜多少？

A：大幅便宜。Llama 3.3 70B 输出价大约是 GPT-4o 输出的 1/19（$0.79 vs $15 每 1M tokens）。即使考虑质量略低，单任务成本通常低 60-80%。

Q：Groq 支持流式输出吗？

A：支持——Groq 的 OpenAI 兼容 API 默认支持 Server-Sent Events (SSE) 流式输出。token 在请求后 50-150ms 内开始流出。

Q：能在 Groq 上 fine-tune 模型吗？

A：不能。Groq 是纯推理。要微调，用 Together AI（完整 LoRA/QLoRA 支持）或 Fireworks AI（专有微调）。你可以在另一家微调，导出合并后的权重，再通过 GroqCloud 的自定义模型端点（仅 Groq Enterprise 套餐）服务。

Q：Groq 相比自部署 Llama 3.3 70B on AWS 怎么样？

A：AWS p5.48xlarge（8x H100）单实例成本约 $98/小时。满载时可以服务 ~3,000 tok/sec——与 Groq 付费套餐相当，但 24/7 成本约 $70K/月。对突发性工作负载 Groq 胜出；对 24/7 高量，自部署预留实例可能在 6-12 个月后打平。

Q：Groq 在国内能用吗？

A：不能直连。api.groq.com 和 console.groq.com 都被屏蔽。你需要一个稳定代理（香港、新加坡或美国 VPS 作为正向代理）才能从国内服务器调用 API。如果需要国内直连，可考虑 FreeModel（聚合 Groq + 其它模型 + 国内直连网关）或 DeepSeek（CN 原生）。

Q：Groq 的免费额度真的免费吗？

A：真的——无需信用卡、无试用期、不会自动转付费。永久每天 1,000 请求。限制严格（30 req/min），但真实用户可以在免费套餐上无限跑业余项目。

Q：超过免费额度速率限制会怎样？

A：Groq 返回 HTTP 429（Too Many Requests），附带 Retry-After 头。客户端实现指数退避重试。免费额度每分钟和每天 00:00 UTC 重置。

Q：Groq 能用于生产吗？

A：能——付费套餐与免费套餐 SLA 相同（文档中没有 SLA 变化），但速率限制按用量协商。对任务关键型工作负载，申请 Groq Enterprise 套餐，增加专用容量和 SOC 2 合规。

结论

Groq 是 2026 年 速度敏感型 LLM 应用 的默认选择：实时聊天机器人、语音 Agent、代码补全，以及任何首 token 延迟 <200ms 重要的场景。LPU 引擎在吞吐量（Llama 3.1 8B 1,250 tok/sec）和确定性低延迟上的结合，是 GPU 服务商无法企及的。

代价是模型选择——Groq 只托管开源模型，所以如果需要 GPT-4o 级别的推理能力，仍需要 OpenAI 或 Anthropic。对 80% 的 LLM 应用——Llama 3.3 70B 或 Mixtral "够用"的场景（聊天、摘要、抽取、分类）——Groq 在提供 比任何主要竞品都更低的单任务成本 同时快 5-10 倍。

如果需要微调，用 Together AI 或 Fireworks AI。如果需要闭源 SOTA，用 OpenAI 或 Anthropic。如果需要国内直连，用 FreeModel（聚合 Groq + 其它模型，提供国内直连网关）或 DeepSeek。其他场景——从 Groq 免费套餐开始，改 2 行代码迁移你的 OpenAI 客户端。

终版对比表

提供商定价（Llama 70B 级）速度微调国内访问最佳场景
Groq$0.59 入 / $0.79 出 每 1M~500 tok/sec❌❌ 需代理实时聊天、语音 Agent
Together AI$0.90 入 / $0.90 出 每 1M~150 tok/sec✅❌ 需代理微调、批量处理
Fireworks AI$0.90 入 / $0.90 出 每 1M~250 tok/sec✅❌ 需代理企业级生产推理
OpenAI（GPT-4o）$2.50 入 / $10 出 每 1M~100 tok/sec✅❌ 需代理SOTA 推理
Anthropic（Claude 3.5）$3 入 / $15 出 每 1M~80 tok/sec❌❌ 需代理长上下文、安全补全
DeepSeek（V3）$0.14 入 / $0.28 出 每 1M~60 tok/sec❌✅ 直连国内直连、低成本
FreeModel聚合商定价取决于模型❌✅ 直连国内直连聚合

相关资源