Lepton AI (Lepton AI)
💰 Token 价格
| 类型 | 价格 | 备注 |
|---|---|---|
| 输入 (Input) | Llama 3.3 70B: $0.80/M; Llama 3.1 405B: $3.50/M; Qwen 2.5 72B: $0.80/M; DeepSeek-R1: $2.00/M | 每百万 tokens |
| 输出 (Output) | Same rate as input for most models (symmetric pricing) | 每百万 tokens |
| 缓存读取 | N/A (serverless GPU does not cache input) | 享折扣 |
$5 试用额度（30 天有效，足够完整评估任意一款主机模型）
🤖 支持模型（共 50 个）
✨ 优势
- ✓ 多区域数据驻留：在 us-west-2/us-east-1/eu-west-1/ap-northeast-1 任选 region 钉住推理（数据不跨区域流动）
- ✓ OpenAI 完全兼容：base_url + api_key 两行切换，无需重构应用代码
- ✓ SOC 2 Type II + GDPR + HIPAA 合规，企业安全评审可签 DPA
- ✓ Serverless GPU 按 token 计费 + Dedicated 端点 $4.50/小时（>116M tokens/天切换更省钱）
- ✓ 50+ 开源模型托管（Llama 3.1 405B / Qwen 2.5 72B / DeepSeek-R1 / FLUX.1 / Whisper V3）
- ✓ Dedicated Enterprise tier 支持单租户私有部署，覆盖 FedRAMP/ITAR 场景
⚠️ 不足
- × 区域钉死在 workspace 创建时，后续无法迁移（需多 region 时建多个 workspace）
- × 部分模型（Llama 3.1 405B / DeepSeek-R1）暂未在 EU/JP 区域上线
- × 免费额度仅 $5（vs Groq 每日免费配额），深度测试需付费
- × 不开源闭源模型（不支持 GPT-5.5 / Claude Opus 等，需走 OpenRouter）
- × Serverless 按 token 计费对小请求优势不明显，需要拼 batch 才能跑满 Dedicated
- × 中国访问需代理 + 跨太平洋延迟，无法提供中国-direct 体验
🎯 适合场景
需要 OpenAI 兼容 API 但要给客户签 DPA / SOC 2 / GDPR 合规承诺的团队；欧盟 / 日本 / 美国跨区域推理工作负载；生产环境需要 Dedicated GPU SLA
💰 价格与方案
| 方案 / 模型 | 计费单位 | 输入 | 输出 | 说明 |
|---|---|---|---|---|
| 试用额度 | $5 / 30 天 | — | — | 注册一次性赠送，足以完整评估任一旗舰模型 |
| Serverless GPU | 每百万 tokens | 对称 | 对称 | 多数开源模型 $0.80-$3.50/M（见下方模型清单） |
| Llama 3.3 70B | 每百万 tokens | $0.80 | $0.80 | 输入输出对称；Meta 开源旗舰 |
| Llama 3.1 405B | 每百万 tokens | $3.50 | $3.50 | 最大开源 Llama；缓存输入约 $0.35/M |
| Qwen 2.5 72B | 每百万 tokens | $0.80 | $0.80 | 阿里 Qwen 旗舰；多语种表现强 |
| DeepSeek-R1 | 每百万 tokens | $2.00 | $2.00 | 推理模型；思维链 token 计入输出 |
| FLUX.1 [schnell] / [dev] | 每张图像 | $0.05 / $0.10 | — | 图像生成；[schnell] 4 步快速版，[dev] 更高质量 |
| 专属 H100 端点 | 每 GPU 小时 | — | — | $4.50/小时起；日均 ~116M tokens 以上更划算 |
| Pro / Enterprise | 定制 | — | — | 签署 DPA、SOC 2 Type II、HIPAA、FedRAMP/ITAR 支持 |
🔧 API 与开发者体验
- •API 兼容性: OpenAI 兼容 base_url 切换（api.lepton.ai/v1）；从 OpenAI/Anthropic 客户端一行代码迁移
- •leptonai Python SDK: 官方 `leptonai` 客户端自动读取端点 OpenAPI schema，将每个路径暴露为原生 Python 方法（`Client.run()`）
- •`lep` 命令行: 在终端管理端点、批量任务、开发 Pod、Ray/Slurm 集群、微调任务、存储与密钥
- •工作区区域: 创建工作区时钉住 us-west-2、us-east-1、eu-west-1 或 ap-northeast-1（东京）；数据不跨区域流动
- •端点类型: Serverless 按 token 计费 + 专属 GPU（H100 $4.50/小时起）；自动从 0 副本弹性扩展
- •BYOC（自带算力）: 将已有 H100/A100/L40S 集群接入 Lepton 工作区作为节点组，用同一 `lep` CLI 统一管理
- •合规: SOC 2 Type II + GDPR + HIPAA；为欧盟客户签署 DPA；Enterprise 档支持 FedRAMP/ITAR 单租户部署
- •试用与计费: $5 免费额度 30 天有效；预付额度 + serverless 按 token 计费；Enterprise 按月开票
🛠️ 为生产 AI 而生的多区域 GPU 云
Lepton AI 是一套面向生产 AI 工作负载的 Pythonic GPU 云平台，核心卖点是严格的数据驻留能力：创建工作区时可将推理钉在四个区域之一——美西、美东、欧西或亚太东北（东京）——请求中途数据不会跨境流动。OpenAI 兼容 base_url 让现有 OpenAI/Anthropic 客户端代码只需一行切换即可接入，应用层无需任何重构。leptonai Python SDK 更进一步：它会读取每个已部署端点的 OpenAPI schema 并将路径暴露为原生方法，IDE 的自动补全会像补全本地函数一样补全远端端点。除了 serverless 按 token 计费，专属 H100 端点 $4.50/小时起，日均 ~116M tokens 以上即比 serverless 更划算；而 BYOC（自带算力）模式允许把已有 H100/A100/L40S 集群接入 Lepton 工作区，用同一 `lep` CLI 与原生端点统一管理。被 NVIDIA 收购（2025 年）后该平台正更名为 NVIDIA DGX Cloud Lepton，但 leptonai SDK 和 50+ 开源权重模型目录在 api.lepton.ai 仍可访问。
🌐 中国大陆访问与延迟
Lepton AI 在中国大陆没有任何接入点，所有推理端点都解析到四个海外区域（us-west-2、us-east-1、eu-west-1、ap-northeast-1 东京）。国内用户从东京边缘访问会增加 200-350 毫秒往返延迟，从美国边缘会增加 300-500 毫秒，两种情况下都需要稳定代理或香港/新加坡中转。平台本身没有被封锁，且因为 API 完全兼容 OpenAI，配置好代理后国内现有客户端代码可直接使用。`$5 免费额度` 足以端到端评估任一模型，但比 Groq 的每日免费配额和 GitHub Models 的每日额度都小，深度测试仍需付费。对延迟敏感的生产流量，实战模式是把 Lepton 作为质量兜底（Llama 3.1 405B、DeepSeek-R1 推理、FLUX.1 图像生成），让国内厂商（GLM、Qwen 等）做主力，再通过东京区域作为最近的接入边缘。企业客户可把 Lepton 端点部署到自有云或 VPC，将数据驻留固定在美国以外区域。