Lepton AI (Lepton AI)
综合排名 #19 ⭐ 可考虑
⚠️ 部分可用（ap-northeast-1 东京 region 距离最近，国内访问需代理） | 🌍 国际
💰 Token 价格
| 类型 | 价格 | 备注 |
|---|---|---|
| 输入 (Input) | Llama 3.3 70B: $0.80/M; Llama 3.1 405B: $3.50/M; Qwen 2.5 72B: $0.80/M; DeepSeek-R1: $2.00/M | 每百万 tokens |
| 输出 (Output) | Same rate as input for most models (symmetric pricing) | 每百万 tokens |
| 缓存读取 | N/A (serverless GPU does not cache input) | 享折扣 |
💡 免费额度
$5 试用额度（30 天有效，足够完整评估任意一款主机模型）
🤖 支持模型（共 50 个）
Llama 3.3 70B Llama 3.1 405B Qwen 2.5 72B Qwen 2.5 Coder 32B DeepSeek V3 / R1 Mixtral 8x22B Mistral Large 2 FLUX.1 [schnell] / [dev] Stable Diffusion 3.5 Large Whisper Large V3 BGE-M3 / BGE-Large GTE-Qwen2 7B
✨ 优势
- ✓ 多区域数据驻留：在 us-west-2/us-east-1/eu-west-1/ap-northeast-1 任选 region 钉住推理（数据不跨区域流动）
- ✓ OpenAI 完全兼容：base_url + api_key 两行切换，无需重构应用代码
- ✓ SOC 2 Type II + GDPR + HIPAA 合规，企业安全评审可签 DPA
- ✓ Serverless GPU 按 token 计费 + Dedicated 端点 $4.50/小时（>116M tokens/天切换更省钱）
- ✓ 50+ 开源模型托管（Llama 3.1 405B / Qwen 2.5 72B / DeepSeek-R1 / FLUX.1 / Whisper V3）
- ✓ Dedicated Enterprise tier 支持单租户私有部署，覆盖 FedRAMP/ITAR 场景
⚠️ 不足
- × 区域钉死在 workspace 创建时，后续无法迁移（需多 region 时建多个 workspace）
- × 部分模型（Llama 3.1 405B / DeepSeek-R1）暂未在 EU/JP 区域上线
- × 免费额度仅 $5（vs Groq 每日免费配额），深度测试需付费
- × 不开源闭源模型（不支持 GPT-5.5 / Claude Opus 等，需走 OpenRouter）
- × Serverless 按 token 计费对小请求优势不明显，需要拼 batch 才能跑满 Dedicated
- × 中国访问需代理 + 跨太平洋延迟，无法提供中国-direct 体验
🎯 适合场景
需要 OpenAI 兼容 API 但要给客户签 DPA / SOC 2 / GDPR 合规承诺的团队；欧盟 / 日本 / 美国跨区域推理工作负载；生产环境需要 Dedicated GPU SLA