RunPod (RunPod)
💰 Token 价格
| 类型 | 价格 | 备注 |
|---|---|---|
| 输入 (Input) | Per-second GPU: H100 SXM $2.99/hr, A100 SXM $1.49/hr, B200 $5.89/hr, L40S $0.99/hr, RTX 4090 $0.69/hr | 每百万 tokens |
| 输出 (Output) | Same as input (per-GPU-second — no idle fees, no egress fees) | 每百万 tokens |
| 缓存读取 | N/A (billed on actual GPU runtime, no prompt cache concept) | 享折扣 |
$5 starter credit on signup, no credit card required; per-second billing means spiky workloads never pay for idle
🤖 支持模型（共 22 个）
✨ 优势
- ✓ Per-second GPU billing, zero idle fees, no egress — cost-leader for bursty/inference workloads
- ✓ 13+ GPU tiers from RTX 4090 ($0.69/hr) through B300 288GB ($7.39/hr) — widest catalog among serverless GPU clouds
- ✓ Serverless FlashBoot sub-200ms cold start; Pods deploy in <30s across 31 global regions
- ✓ Community Cloud (lower cost, peer-supplied GPUs) + Secure Cloud (Tier-3 datacenter) tier choice
- ✓ Hub ships 100+ ready-to-deploy OSS templates (Llama, Qwen, DeepSeek, ComfyUI, Whisper)
- ✓ Referral program: lifetime 5% credit rebate on referred developers' spending
⚠️ 不足
- × Not a model API provider — you bring your own model + container image
- × Community Cloud GPUs are interruptible (~15% preemption rate/hour) — production should use Secure Cloud
- × Volume reservations require 1-3 month commit; pay-as-you-go is 20-40% more expensive than reserved
- × No native prompt cache — long-context repeated-prefix workloads cost more than Anthropic/OpenAI
- × China access unstable — needs proxy; no China-direct edge
- × Documentation is sparser than AWS/GCP; expect to read template JSON for debugging
🎯 适合场景
Open-source LLM hosting with low idle-cost (ComfyUI / Llama / Qwen / DeepSeek); bursty inference workloads; developers who need sub-30s GPU deployment without Kubernetes overhead; budget-conscious AI startups
💰 价格与方案
| 档位 / GPU | 计费单位 | 费率 | 最佳用途 |
|---|---|---|---|
| 注册余额 | 一次性余额 | $0（官方未宣传赠送额度，需预付充值） | 投入前的评估试用 |
| 社区云 — RTX 4090 24GB | 按秒 GPU 时长 | $0.74/小时（约 $0.000206/秒） | 低成本微调、批处理、个人项目 |
| 社区云 — A100 SXM 80GB | 按秒 GPU 时长 | $1.59/小时（约 $0.000442/秒） | 70B 级服务、中等规模训练 |
| 社区云 — H100 SXM 80GB | 按秒 GPU 时长 | $3.49/小时（约 $0.000969/秒） | 前沿大模型推理与训练 |
| 社区云 — B200 180GB | 按秒 GPU 时长 | $6.79/小时（约 $0.001886/秒） | 最大开源模型、多节点预训练 |
| 社区云 — B300 288GB HBM3e | 按秒 GPU 时长 | $7.89/小时（约 $0.002192/秒） | 顶级开放权重模型研究 |
| 无服务器 Flex — H100 80GB | 按秒，仅活跃 worker 计费 | $4.79/小时（worker 运行期间） | 端点背后的突发 API 推理 |
| 无服务器 Flex — L4 / A5000 / 3090 24GB | 按秒，仅活跃 worker 计费 | $0.69/小时（worker 运行期间） | 中小模型 API、成本优化 |
| 存储 — 容器磁盘 | 每 GB/月（5 分钟粒度） | 约 $0.10/GB/月 | worker 临时工作空间 |
| 存储 — 网络卷 | 每 GB/月 | $0.07/GB/月（<1TB），$0.05/GB/月（>1TB） | 跨 worker 的持久共享数据 |
| 无服务器 Active worker | 按小时，常驻运行 | 定制 —— 通过销售咨询获得折扣 | 稳定的低延迟生产流量 |
| 集群（多节点、含 SLA） | 预留容量 | 定制报价（万卡规模有折扣） | 企业级分布式训练 |
🔧 API 与开发者体验
- •REST API v2: Base 地址 https://api.runpod.io/v2，提供公开 OpenAPI schema；取代旧的 GraphQL 与 REST v1 接口
- •官方 SDK: Python runpod-serverless SDK 用于编写端点处理函数，runpod-flash 用于编写并部署你自己的 Python 函数
- •runpodctl CLI: 单一二进制管理 Pod、端点、模板、卷、Hub 部署、文件传输、SSH 密钥与模型缓存（支持 Homebrew 安装）
- •MCP 服务器（2 个）: 托管 API MCP https://mcp.getrunpod.io/（Streamable HTTP，支持 OAuth 或 API key）用于基础设施控制；另有免认证的文档 MCP https://docs.runpod.io/mcp
- •AI 编码代理插件: 面向 Claude Code / Codex / Cursor 的路由式技能包：runpod-mcp、runpodctl、flash、companion-clis、runpod-usage、runpod-migrate
- •计费与账户安全: 预付额度余额每 5 分钟实时扣减；所有资源默认每小时 $80 消费上限；支持低余额提醒与自动充值
- •Hub 与模板: Runpod Hub 提供开箱可用的开源应用（vLLM、ComfyUI、Llama、Qwen、Whisper），一键部署，含社区模板与自定义模板
⚡ 按需 GPU 市场与无服务器 FlashBoot
RunPod 最大的特点是它卖的是原始 GPU 秒数而不是模型 token——你租的是算力容量，而不是一个 API。其目录涵盖约二十个档位，从 $0.27/小时的 RTX A5000、$0.74/小时的 RTX 4090，一直到 A100、H100、H200、B200，以及 $7.89/小时的 B300 288GB HBM3e；每一档都明确标注 VRAM、内存与 vCPU 数量，配置透明而非模糊。两种资源池让你在可靠性与价格之间取舍：社区云使用跨 30 多个区域的个人主机硬件，安全云则把同样的 GPU 放在 Tier-3 数据中心。无服务器端点提供自动扩缩的 worker，空闲容量零成本，官方称 FlashBoot 可将冷启动压缩到 200 毫秒以内。多节点 Instant Clusters 把同一套模型延伸到分布式训练，Runpod Hub 则提供 vLLM、ComfyUI、Llama、Qwen、Whisper 等开箱模板。
🌐 中国大陆访问与延迟
RunPod 在中国大陆没有边缘节点，也没有 ICP 备案基础设施，官方未公布中国专属区域，因此大陆开发者应默认走国际链路。控制台、REST API v2 与无服务器端点一般可通过公网访问，但带宽与延迟波动较大，做 SSH 会话、拉取大型容器等交互式操作时建议使用稳定代理。真正的成本驱动因素是数据搬运：跨境从 Docker Hub 或 Hugging Face 拉取数 GB 的模型镜像，耗时可能远超实际计算时间，因此预缓存模板与模型缓存带来的收益格外明显。GPU 单价不因访问来源而变，网络传输本身也不计费，所以代价体现为更高的首 token 延迟与更长的部署时间，而不是更高的账单。需要可预测延迟的团队通常把权重放在网络卷上，并优先选择新加坡或东京机房。