Baseten (Baseten)
💰 Token 价格
| 类型 | 价格 | 备注 |
|---|---|---|
| 输入 (Input) | Per-second GPU billing (H100: $1.89/hr, A100: $0.83/hr, L40S: $0.54/hr) | 每百万 tokens |
| 输出 (Output) | Model-dependent (inference time × GPU rate) | 每百万 tokens |
| 缓存读取 | N/A (no caching layer on hosted inference) | 享折扣 |
$30 in inference credits on signup (valid 30 days); custom model hosting free tier: 1 deployed model
🤖 支持模型（共 35 个）
✨ 优势
- ✓ Per-second GPU 计量，与 Replicate 同类竞品中按量计费最透明
- ✓ 支持自定义模型托管（Truss 框架），可一键部署 Hugging Face 模型
- ✓ Cold start < 1 秒（基于自研的预热池 + autoscaling）
- ✓ Dedicated Deployments 提供独占 GPU 实例，承诺 SLA
- ✓ 支持 PyTorch / TensorRT / vLLM 推理引擎，自动选择最优后端
- ✓ MCP server 支持 Claude/Cursor 集成
- ✓ 2025 年起对自部署模型免 GPU 闲置费（区别于 RunPod / Lambda Labs）
⚠️ 不足
- × 无预训练模型市场（与 Replicate 200+ 模型相比，Baseten 更偏向自部署）
- × 国内使用需稳定代理
- × Per-second 计费对小请求（< 5s）优势不明显
- × Truss 框架学习成本（vs 直接调用 HF Inference API）
- × Dedicated Deployment 起步价高于 AWS/GCP 裸机实例
🎯 适合场景
自部署开源模型（Llama / Qwen / DeepSeek）到生产 GPU；需要 Dedicated SLA 的中大规模团队；MCP 集成到 Claude / Cursor
💰 价格与方案
| 方案 / 模型 | 计费单位 | 输入 | 缓存输入 | 输出 / 费率 |
|---|---|---|---|---|
| Basic | $0/月，按量付费 | — | — | Model APIs + 专属部署 |
| GLM-5.3 | 每百万 tokens | $1.40 | $0.14 | $4.40 |
| DeepSeek V4 Pro 0813 | 每百万 tokens | $1.32 | $0.132 | $3.96 |
| DeepSeek-V4-Flash-0731 | 每百万 tokens | $0.13 | $0.028 | $0.26 |
| Kimi K3 | 每百万 tokens | $3.00 | $0.30 | $15.00 |
| NVIDIA Nemotron 3 Ultra | 每百万 tokens | $0.60 | $0.12 | $2.40 |
| GPT OSS 120B | 每百万 tokens | $0.10 | — | $0.50 |
| A100 80GB（专属） | 每分钟 GPU 时长 | — | — | $0.06667/分钟（约 $4.00/小时） |
| H100 80GB（专属） | 每分钟 GPU 时长 | — | — | $0.10833/分钟（约 $6.50/小时） |
| B200 180GB（专属） | 每分钟 GPU 时长 | — | — | $0.16633/分钟（约 $9.98/小时） |
| Pro / Enterprise | 批量折扣、定制 SLA | — | — | 联系销售报价 |
🔧 API 与开发者体验
- •API 兼容性: OpenAI 与 Anthropic 兼容端点，地址 inference.baseten.co/v1
- •编码智能体: 原生支持 Claude Code、Codex CLI、Pi、Droid、OpenCode（通过 BASETEN_API_KEY 或 Baseten Switch）
- •MCP 服务器: 官方工作区 MCP（api.baseten.co/mcp）+ 文档 MCP，支持智能体驱动部署
- •提示缓存: 复用前缀自动享 KV 缓存折扣；x-session-affinity 把同一会话固定到单个副本
- •自定义模型: 用 Truss（Baseten 开源标准）打包并以任意框架提供模型服务
- •按档位限流: Basic 15 RPM / 100K TPM → Basic 已验证 120/500K → Pro 120/1M → Enterprise 自定义
- •试用与计费: 新账号赠送免费额度；支持设置月度工作区预算并邮件提醒，可选强制拦截
⚡ Model APIs 与 Baseten 推理栈
Baseten 起步于自部署平台，如今其 Model APIs 已提供经过预优化的前沿开源权重模型目录——GLM-5.3、DeepSeek V4 Pro、Kimi K3、NVIDIA Nemotron 3 Ultra、GPT OSS 120B 与 Inkling——全部运行在 Baseten 推理栈上，并提供 OpenAI 与 Anthropic 兼容端点。计费按每百万 tokens 计算，分输入、缓存输入、输出三列：复用长系统提示词的工作负载，在 GLM-5.3 上每百万 tokens 只需 $0.14 而非 $1.40。缓存自动生效，session affinity 会把同一会话固定到单个副本以保持前缀热缓存。视觉、音频与扩展推理能力通过一份公开的功能支持矩阵呈现，而非藏在未文档化的开关里。当团队超出 token 计费模式时，可把同一模型迁到专属部署，按 GPU 时长每分钟计费，从 T4 一直到 B200。
🌐 中国大陆访问与延迟
Baseten 在中国大陆没有接入点。推理端点解析到美国区域，因此国内用户通常会看到额外 200-400 毫秒的往返延迟，需要经稳定代理或香港/新加坡中转访问。平台本身未被封锁，且由于提供 OpenAI 与 Anthropic 兼容接口，网络通路解决后现有的国内客户端代码无需改动即可使用。对延迟敏感的生产流量，实际做法是把 Baseten 的开源权重 Model APIs 作为国内厂商（如 GLM、Qwen）之后的质量兜底，或采用中国周边中转配合 Baseten Switch，让编码智能体只维护一套凭证。企业客户可部署到自有云或 VPC，这是把数据驻留固定在美国以外区域的唯一途径——Baseten 在该档位提供自定义全球区域。