Baseten 2026：按秒计费的生产级 GPU 推理 API

Q: Baseten 用于什么？

Baseten 用于生产 AI 推理——将开源权重模型（Llama 3.3 70B、Qwen 2.5 72B、DeepSeek V3、FLUX.1、Whisper）部署到 GPU 基础设施，按秒计费，自动扩缩容，OpenAI 兼容 API。典型用例包括 agent 工具调用、批处理、实时聊天、代码生成、图像生成和 RAG 系统的嵌入生成。

Q: Baseten 多少钱？

Baseten 按 GPU 时间秒数收费。H100 80GB 按需 $1.89/小时（或 3 个月 Dedicated Deployment 承诺 $1.49/小时）。Llama 3.3 70B 上典型 200/200 token 请求耗时约 1.8 秒，成本 $0.000945。没有闲置费——如果模型不在生成，你就不付费。

Q: Baseten 有免费套餐吗？

有。Baseten 注册即送 $30 推理额度，有效期 30 天。免费套餐还包括 1 个免费自定义模型部署（Truss）用于原型设计。免费额度不需要信用卡，但需要添加卡片才能部署 Dedicated Deployments 或超过免费额度。

Q: 我可以从中国使用 Baseten 吗？

Baseten 的 API 托管在 AWS US-East 和 GCP US-Central。从中国访问需要稳定的代理连接。从上海到延迟通常为 200-350ms。对于服务中国用户的生产部署，推荐路径是在阿里云百炼或腾讯云上部署镜像，然后通过香港路由层代理请求。

Q: Baseten 支持 OpenAI 兼容 API 调用吗？

支持。每个 Baseten 部署的模型都暴露一个 OpenAI 兼容的 /v1/chat/completions 端点。OpenAI SDK、Anthropic SDK（带薄垫片）和 Vercel AI SDK 都通过更改 base URL 和 API key 与 Baseten 配合工作。

Q: Baseten 与 Replicate 相比如何？

Replicate 拥有更大的托管目录（200+ 模型 vs Baseten 35），但 Baseten 每请求定价更低（无 Replicate 5-15% 加价），冷启动更快（热池 vs 冷），自定义模型托管故事更好（Truss vs Cog）。对于需要许多预训练模型的团队，Replicate 胜出。对于需要在生产中部署 1-3 个自定义或精选模型的团队，Baseten 胜出。

Q: Baseten 与 Modal 相比如何？

Modal 和 Baseten 都提供按秒 GPU 计费和强大的 Python 优先 DX。Modal 更灵活（CPU、GPU 和任何 Docker 镜像），Baseten 更专注于 LLM 推理（热池、Truss 框架、MCP server）。Modal 在低利用率时略贵，Baseten 在高利用率 Dedicated Deployments 时略贵。对于 ML 研究工作负载，Modal 胜出。对于生产 LLM 推理，Baseten 胜出。

Q: Baseten 与 RunPod 相比如何？

RunPod 在市场上拥有最低的每 GPU 小时费率（比 Baseten 低 30-50%），但 RunPod 对持续 Pod 收取闲置费，且无管理热池（冷启动 5-30 秒）。对于能舒适管理 Docker、自动扩缩容和热池的团队，RunPod 是最便宜的路径。对于想要管理基础设施的团队，Baseten 是正确的选择。

Q: Baseten MCP server 是什么？

Baseten MCP server（2025 年末发布）将每个 Baseten 部署的模型作为工具调用暴露给 Claude、Cursor、Cline 和任何 MCP 兼容编辑器。它是构建 agent 的工程师的最低阻力路径——agent 需要在推理循环中原生调用微调或开源权重模型。

Q: Baseten 有联盟营销计划吗？

Baseten 目前没有公开的联盟营销计划。对于需要联盟营销风格 CTA 的站点，替代方案是推荐 FreeModel——一个 OpenAI 兼容的聚合器，为多个提供商提供统一 API key，并为自部署模型增加成本路由优化。

什么是 Baseten？为什么 2026 年它值得关注？

Baseten 是一家位于旧金山的 AI 基础设施公司，过去四年一直在构建 2026 年超大规模云厂商之外最成熟的生产级 GPU 推理平台。公司由 Stripe Radar ML 基础设施的核心团队于 2019 年创立，2025 年初完成 4000 万美元 B 轮融资（Spark Capital 领投，Google Ventures 和 South Park Commons 跟投），截至 2026 年 7 月服务的客户包括 Notion、Substack、Vercel，以及在部分高流量路由上为 OpenRouter（OpenAI 兼容代理）提供推理支持。核心承诺很直接：在 90 秒内将任何开源权重模型部署到专属 GPU 容量，按实际推理秒数计费，绝不为闲置 GPU 时间买单。

最后一点是真正的差异化点。在 AWS、GCP、Lambda Labs、RunPod 和 CoreWeave 上，无论 GPU 实例是在处理请求还是闲置，你都要为它付费。在 Baseten 上，无服务器部署可以自动缩容到零，你只为模型实际生成 token 的那几秒钟付费。2024 年上线的 Dedicated Deployments 套餐为无法容忍冷启动的生产流量提供预留容量和 99.9% SLA 保障，但按秒计费模式得以保留——用多少付多少，从不为预配置的资源付费。

让 Baseten 在 2026 年成为 AI 工程团队首选的有三件事：

Truss 开源模型打包框架（截至 2026 年 7 月最新为 v0.18.x 系列），可将任何 PyTorch / TensorRT / vLLM 模型通过一行 CLI 命令包装为可部署制品。Truss 处理 TensorRT 引擎编译、动态批处理、自动扩缩容、可观测性和冷启动热池。一个想用 H100 部署 meta-llama/Llama-3.3-70B-Instruct 的团队可以通过 truss push 在大约 4 分钟内完成（其中大部分时间是 Docker 镜像构建）。
按秒计费的 GPU，无闲置费。Llama 3.3 70B 在 H100 上耗时 1.8 秒的请求成本 $0.000945。AWS Bedrock 上同等 Llama 3.3 70B 部署按 token 定价（同 200 输入 / 200 输出 token）为 $0.0011 输入 + $0.0014 输出——高 token 数时略贵，低 token 数时略便宜，但有 10 倍的冷启动惩罚，而 Baseten 的热池消除了这个惩罚。
MCP server（2025 年末发布）将每个 Baseten 部署的模型作为工具调用暴露给 Claude、Cursor 和任何 MCP 兼容编辑器。一个需要调用微调 Llama 3.3 70B 模型的 agent 可以通过 MCP 原生完成，无需编写自定义 HTTP 客户端。

权衡在于规模。Baseten 对持续高利用率的工作负载（即使是 Dedicated Deployments，定价也比 AWS 相同 H100 按需价格高 15-25% 以覆盖 Baseten 的利润和管理服务层）比裸 AWS/GCP 贵。对于波动或低流量工作负载（批处理、agent 调用、原型设计、内部工具），Baseten 通常比超大规模云厂商便宜 30-60%。对于每月服务 1 亿请求且 GPU 持续高利用率的应用程序，超大规模云厂商在单位经济上胜出。对于 2026 年的其他一切场景，Baseten 是大多数团队的首选平台。

Baseten API 接口：托管模型、自定义模型和专属部署

Baseten 提供三种不同的部署接口，每种接口的 API 都不同。

### 1. 托管模型 API（api.baseten.co/model-deployments）

这是最接近 Replicate 风格"按名称调用模型"体验的方式。Baseten 在共享基础设施上托管了约 35 个生产级开源权重模型目录。你使用 BASETEN_API_KEY 进行身份验证，向模型的端点 URL 发送 JSON POST 请求，然后获得响应。截至 2026 年 7 月的目录包括：

文本生成：Llama 3.3 70B Instruct、Mixtral 8x22B Instruct、Qwen 2.5 72B Instruct、DeepSeek V3、Qwen 2.5 Coder 32B、Mistral Large 2
图像生成：FLUX.1 [schnell]、SDXL、Stable Diffusion 3.5 Large
语音：Whisper Large V3（转录）、XTTS v2（文本转语音）
嵌入：BGE Large v1.5、GTE-Qwen2 7B

托管目录的定价按 GPU 时间的秒数计算，仪表板在部署前显示费率。Llama 3.3 70B 典型请求（200 输入 token，200 输出 token）在 H100 上约 1.8 秒 = 每次 $0.000945。

curl -X POST https://model-.api.baseten.co/production/predict   -H "Authorization: Api-Key $BASETEN_API_KEY"   -H "Content-Type: application/json"   -d '{
    "messages": [
      {"role": "user", "content": "用一段话解释 Baseten 和 Replicate 的区别。"}
    ],
    "max_tokens": 256,
    "temperature": 0.7
  }'

响应是 OpenAI 兼容的 JSON：{"choices": [{"message": {"role": "assistant", "content": "..."}}]}。OpenAI 兼容性层是 Baseten 最被低估的功能——这意味着你可以通过更改 base URL 和 API key，将 Baseten 集成到任何已使用 OpenAI SDK 的代码库中，无需其他代码修改。

### 2. 自定义模型托管（Truss）

Truss 是 Baseten 的开源模型打包框架。你编写一个 model.py，定义 load() 函数（返回模型）和 predict() 函数（处理推理），将其包装在 Truss 配置文件中，然后通过 truss push 推送到 Baseten。Baseten 处理剩余工作：Docker 镜像构建、GPU 选择、自动扩缩容、监控和热池。

一个最小化的 Truss 用于 Hugging Face transformer：

# model.py
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

class Model:
    def __init__(self, **kwargs):
        self.model = None
        self.tokenizer = None

    def load(self):
        self.tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3.3-70B-Instruct")
        self.model = AutoModelForCausalLM.from_pretrained(
            "meta-llama/Llama-3.3-70B-Instruct",
            torch_dtype=torch.bfloat16,
            device_map="auto"
        )
        return self

    def predict(self, request):
        prompt = request.json["prompt"]
        inputs = self.tokenizer(prompt, return_tensors="pt").to(self.model.device)
        outputs = self.model.generate(**inputs, max_new_tokens=request.json.get("max_tokens", 256))
        return {"output": self.tokenizer.decode(outputs[0], skip_special_tokens=True)}

# config.yaml
model_name: llama-3-3-70b-baseten
python_version: "3.11"
requirements:
  - torch==2.4.0
  - transformers==4.45.0
resources:
  accelerator: H100:1
  memory: 80Gi
  cpu: "8"

truss push 上传模型，构建 Docker 镜像（根据模型大小需要 3-8 分钟），并返回部署 URL。从那里开始，API 调用与托管目录完全相同。Truss 支持 TensorRT 引擎编译、动态批处理、流式响应和模型组合（将多个模型链接到单个部署中）。

### 3. Dedicated Deployments

对于无法容忍冷启动或共享基础设施噪声的生产流量，Baseten 提供 Dedicated Deployments：预留 GPU 容量，99.9% 正常运行时间 SLA，专属网络带宽，可选择固定 GPU 类型（H100、A100、L40S 或 L4）。定价按秒计费，略高于共享目录的费率（通常比 AWS 上 H100 按需点价高 15-25%，以覆盖 Baseten 的管理服务层），但无闲置费、专属带宽和 SLA 保障。

典型的 Dedicated Deployment 合同是 3 个月最低承诺，固定每月 GPU 小时数，选项可以突发至承诺容量的 2 倍，按秒按需费率计费。对于每月运行 50,000 H100 小时的团队，Dedicated Deployment 有效费率约为 $1.49/小时（vs 共享基础设施按需 $1.89/小时），含 SLA、专属带宽和 Baseten 解决方案工程师。

Baseten 定价：按秒 GPU 计费实践

Baseten 的按秒 GPU 计费是 2026 年推理平台市场中最透明的。模式很简单：每个请求成本 =（推理秒数）×（GPU 小时费率 / 3600）。2026 年 7 月的 GPU 小时费率：

GPU 类型	按需费率	专属（承诺）	适用场景
H100 80GB	$1.89/小时	$1.49/小时（3 月承诺）	70B+ 参数模型、高吞吐推理
A100 80GB	$0.83/小时	$0.66/小时（3 月承诺）	13B-70B 模型、成本敏感工作负载
L40S 48GB	$0.54/小时	$0.43/小时（3 月承诺）	7B-13B 模型、视觉模型、嵌入模型
L4 24GB	$0.32/小时	$0.26/小时（3 月承诺）	小模型、批处理、边缘式部署
A10G 24GB	$0.21/小时	$0.17/小时（3 月承诺）	遗留工作负载、成本优化的 7B-13B 模型

单个请求的成本：

Llama 3.3 70B 上 200 输入 + 200 输出 token（H100 上约 1.8 秒）：$0.000945
Llama 3.3 70B 上 1000 输入 + 500 输出 token（H100 上约 4.5 秒）：$0.00236
FLUX.1 [schnell] 上 512x512 图像（L40S 上约 2.1 秒）：$0.000315
Whisper Large V3 上 60 秒音频（A10G 上约 12 秒）：$0.00070

生产工作负载的规模化经济：

Llama 3.3 70B 上 1000 万请求/月（200/200 token，约 1.8 秒）= Baseten $9,450/月
Llama 3.3 70B 上 1000 万请求/月（1000/500 token，约 4.5 秒）= Baseten $23,600/月
FLUX.1 [schnell] 上 100 万图像/月 = Baseten $315/月
Whisper 转录 1000 万分钟/月 = Baseten $7,000/月

作为比较，同样的 Llama 3.3 70B 上 1000 万请求/月在 OpenAI GPT-4o 定价（这是可比较的闭源模型，不是 Llama，但作为合理性检查有用）= $25,000/月（$2.50/M 输入 + $10/M 输出）。Baseten 在相同请求形状下便宜约 2.6 倍，权衡是你自己运营开源权重模型（或信任 Baseten 为你运营），且无法获得 GPT-4o 的多模态能力。

与 AWS Bedrock 可比 Llama 3.3 70B 部署的盈亏平衡点：如果你的 GPU 利用率低于 40%，Baseten 更便宜。利用率高于 40%，超大规模云厂商的预留实例定价胜出。对于波动 agent 工作负载（峰值 1000 请求/分钟，谷值 5 请求/分钟），Baseten 的自动扩缩容是正确的模式。

Baseten 与 Replicate、Modal、RunPod 和 Together AI 的对比

2026 年的推理平台市场有四个严肃的竞争者，每个都有独特的角度。正确的选择取决于你的工作负载形状、所需的模型以及你能否容忍自托管。

提供商	优势	劣势	Llama 3.3 70B 定价	冷启动	自定义模型托管
Baseten	按秒 GPU，无闲置费，Truss 框架，MCP server	托管目录较小（35 模型 vs Replicate 200+）	$0.000945/请求（200/200 token）	< 1 秒（热池）	是（Truss，一流）
Replicate	200+ 预训练模型，易入门，Cog 自托管	每模型定价加价 5-15%，冷启动较慢	~$0.0011/请求（200/200 token）	1-3 秒（冷）	是（Cog，支持但非一流）
Modal	按秒 CPU/GPU，强大的 Python 优先 DX，批量折扣	低利用率时较贵，目录较小	$0.0014/请求（200/200 token）	< 1 秒（热池）	是（Modal Images，强大）
RunPod	最低每 GPU 小时费率，大型 GPU 选择	持续 Pod 闲置费，无管理热池	$0.00078/请求（200/200 token）	5-30 秒（冷）	是（手动，需要 Docker 专业知识）
Together AI	200+ 开放模型，慷慨免费套餐，微调支持	按 token 定价增加复杂性，无按秒 GPU	$0.0018/请求（200/200 token）	1-5 秒（冷）	有限（仅 Together 托管的微调）

对于希望获得 最低每 GPU 小时费率 且能舒适管理 Docker、自动扩缩容和冷启动的团队：RunPod 胜出。同等 GPU 费率比 Baseten 低 30-50%，但你运营一切。

对于希望获得 最广泛预训练模型目录 且运营负担最小的团队：Replicate 胜出。200+ 模型，一个 API，Cog 框架用于自托管，使 Replicate 成为需要许多模型（而非仅仅一个）的团队的最低阻力路径。

对于希望获得 按秒 GPU 计费 + 一流自定义模型托管 + MCP 集成 的团队：Baseten 胜出。Truss 是 2026 年市场上最干净的模型打包框架，MCP server 是 agent 工作流的真正差异化点，热池消除了困扰 Replicate 和 RunPod 的冷启动惩罚。

对于希望获得 Python 优先开发者体验 + 强大自动扩缩容 的团队：Modal 是替代选择。Modal 的 modal.Image 和 modal.App 原语对于更喜欢装饰器而非 YAML 配置的团队比 Truss 更 Pythonic，Modal Labs 一直在大力投资 2026 年推理工作负载（特别是需要灵活算力的 ML 研究人员）。

对于希望获得 200+ 开放模型 + 慷慨免费套餐 的团队：Together AI 是替代选择。Together 的免费套餐（注册 $5 额度，无过期）是市场上最慷慨的，微调支持对于需要为特定任务微调 Llama 3.3 70B 或 Mixtral 8x22B 的团队是最强的。

2026 年 Baseten 支持哪些模型？

托管目录比 Replicate 的小（35 vs 200+ 模型），但精选的模型覆盖了 2026 年 AI 工程中重要的生产模型：

文本生成（最受欢迎的类别）：

Llama 3.3 70B Instruct
Llama 3.1 405B Instruct（2026 年最大的开源权重模型）
Mixtral 8x22B Instruct
Qwen 2.5 72B Instruct
Qwen 2.5 Coder 32B（专用于代码）
DeepSeek V3（MoE，671B 总参 / 37B 激活）
Mistral Large 2（123B）
Phi-3.5 Medium（14B，微软开源模型）

图像生成：

FLUX.1 [schnell]（4 步，实时能力）
SDXL
Stable Diffusion 3.5 Large

语音：

Whisper Large V3（转录，99 种语言）
XTTS v2（文本转语音，声音克隆）

嵌入：

BGE Large v1.5
GTE-Qwen2 7B（2026 年 MTEB 排行榜榜首）

对于目录中的任何模型，Truss 框架允许你部署任何 Hugging Face 模型、任何 PyTorch 检查点或任何 TensorRT 引擎。约束是 GPU 内存：bfloat16 中的 70B 模型需要约 140GB GPU 内存，这意味着 H100 80GB × 2 实例的张量并行，或 H100 80GB × 1 实例的量化（AWQ、GPTQ 或 FP8）。405B 模型需要 H100 80GB × 4 实例的张量并行。

Baseten MCP server：2026 年的 agent 集成

Baseten 在 2025 年末发布了 MCP（Model Context Protocol）server，将每个 Baseten 部署的模型作为工具调用暴露给 Claude、Cursor、Cline 和任何 MCP 兼容编辑器。MCP server 是构建 agent 的工程师的最低阻力路径——agent 需要在推理循环中原生调用微调或开源权重模型。

Claude Desktop 中的典型 MCP 集成：

{
  "mcpServers": {
    "baseten": {
      "command": "npx",
      "args": ["-y", "@baseten/mcp-server"],
      "env": {
        "BASETEN_API_KEY": "your-api-key"
      }
    }
  }
}

配置后，agent 可以使用自然语言工具调用任何已部署的模型。MCP server 支持流式响应、多轮工具使用和 OpenAI 兼容响应格式，这意味着任何支持 MCP 的 agent 框架（LangChain、LlamaIndex、AutoGen、CrewAI）都可以通过 Baseten 路由工具调用，无需编写自定义客户端。

MCP server 对所有 Baseten API 用户免费；无需单独的订阅。它也是少数原生支持流式工具调用的 MCP 实现之一，这是长时间生成任务的正确模式。

Baseten 是否有 OpenAI 兼容 API？

是的。每个 Baseten 部署的模型都暴露一个 OpenAI 兼容的 /v1/chat/completions 端点。这是 Baseten 最被低估的功能——你可以通过更改 base URL 和 API key，将 Baseten 集成到任何使用 OpenAI SDK 的代码库中，无需其他代码修改：

from openai import OpenAI

client = OpenAI(
    api_key="baseten-api-key",
    base_url="https://model-.api.baseten.co/v1"
)

response = client.chat.completions.create(
    model="llama-3-3-70b",
    messages=[{"role": "user", "content": "你好世界"}],
    max_tokens=256
)

OpenAI 兼容性扩展到流式、函数调用（对于支持的模型）和 JSON 响应格式。这是 OpenRouter 使用的相同模式，但 Baseten 的实现对 Baseten 目录中的特定模型性能更好（无路由开销，除了 GPU 成本外无每请求利润）。

Baseten 的数据保留策略是什么？

Baseten 将 prompt、参考图像和生成输出保留 30 天用于滥用监控和调试。保留期对 Dedicated Deployment 客户可配置（大多数生产团队将其设置为 0 天，日志进入他们自己的可观测性栈）。对于大多数生产工作负载，30 天保留是可接受的。对于处理 HIPAA、PHI 或其他受监管数据的工作负载，Dedicated Deployment 套餐允许你完全禁用 Baseten 的日志记录并将所有日志路由到私有 S3 存储桶。

我可以自托管开源权重模型而不是使用 Baseten 吗？

可以——对于任何具有开源权重的模型（Llama 3.3、Mixtral 8x22B、Qwen 2.5、DeepSeek V3、FLUX.1 [schnell]、Whisper Large V3、SDXL）。规范的自托管路径是：

从 Hugging Face 下载权重
使用 vLLM、SGLang 或 TensorRT-LLM 提供服务
部署在 GPU 集群上（H100、A100 或 RTX 4090 用于原型设计）
集群管理、监控、自动扩缩容和热池由你的团队负责

对于每月 1000 万请求的工作负载，在预留 H100 集群（AWS 或 Lambda Labs 的 8×H100 80GB $1.49/小时 1 年预留实例）上自托管 = $8,560/月。同样工作负载在 Baseten 上 = $9,450/月。数学：自托管在此规模下便宜 10%，但运营成本（专门的 ML 平台工程师 $200K/年）= $16,666/月，这使得 Baseten 在 TCO 方面便宜 47%。

对于每月 100 万请求以下的工作负载，自托管永远不便宜于 Baseten。盈亏平衡点约为每月 500 万请求，即使在此之上，TCO 计算也很大程度上取决于你的团队时间有多少花在 GPU 运营 vs 核心产品工作上。

最终结论

Baseten 在 2026 年是希望获得按秒 GPU 计费、一流自定义模型托管和 MCP 集成的团队的推理平台，无需自托管的运营负担。Truss 框架是 2026 年市场上最干净的模型打包层。MCP server 是最被低估的功能——任何需要调用微调或开源权重模型的 agent 都应该通过 Baseten 的 MCP 路由。OpenAI 兼容 API 意味着对任何已使用 OpenAI SDK 的代码库都是直接替换。

权衡是真实的：托管目录比 Replicate 小，Dedicated Deployment 费率比裸 AWS 高 15-25%，运营成熟度比超大规模云厂商年轻。对于每月运行 1 亿+ 请求且 GPU 持续高利用率的团队，超大规模云厂商在单位经济上胜出。对于 2026 年的其他一切——agent 工作负载、批处理、原型设计、内部工具、中等规模生产流量——Baseten 是大多数团队的首选平台。

如果你在 2026 年构建自定义模型部署且尚未尝试 Baseten，注册即得的 $30 推理额度足以在 10 分钟内部署并对 H100 上的 70B 模型进行基准测试。这是正确的起点。

FAQ

Baseten 用于什么？

Baseten 用于生产 AI 推理——将开源权重模型（Llama 3.3 70B、Qwen 2.5 72B、DeepSeek V3、FLUX.1、Whisper）部署到 GPU 基础设施，按秒计费，自动扩缩容，OpenAI 兼容 API。典型用例包括 agent 工具调用、批处理、实时聊天、代码生成、图像生成和 RAG 系统的嵌入生成。

Baseten 多少钱？

Baseten 按 GPU 时间秒数收费。H100 80GB 按需 $1.89/小时（或 3 个月 Dedicated Deployment 承诺 $1.49/小时）。Llama 3.3 70B 上典型 200/200 token 请求耗时约 1.8 秒，成本 $0.000945。没有闲置费——如果模型不在生成，你就不付费。

Baseten 有免费套餐吗？

有。Baseten 注册即送 $30 推理额度，有效期 30 天。免费套餐还包括 1 个免费自定义模型部署（Truss）用于原型设计。免费额度不需要信用卡，但需要添加卡片才能部署 Dedicated Deployments 或超过免费额度。

我可以从中国使用 Baseten 吗？

Baseten 的 API 托管在 AWS US-East 和 GCP US-Central。从中国访问需要稳定的代理连接。从上海到延迟通常为 200-350ms。对于服务中国用户的生产部署，推荐路径是在阿里云百炼或腾讯云上部署镜像，然后通过香港路由层代理请求。

Baseten 支持 OpenAI 兼容 API 调用吗？

支持。每个 Baseten 部署的模型都暴露一个 OpenAI 兼容的 /v1/chat/completions 端点。OpenAI SDK、Anthropic SDK（带薄垫片）和 Vercel AI SDK 都通过更改 base URL 和 API key 与 Baseten 配合工作。

Baseten 与 Replicate 相比如何？

Replicate 拥有更大的托管目录（200+ 模型 vs Baseten 35），但 Baseten 每请求定价更低（无 Replicate 5-15% 加价），冷启动更快（热池 vs 冷），自定义模型托管故事更好（Truss vs Cog）。对于需要许多预训练模型的团队，Replicate 胜出。对于需要在生产中部署 1-3 个自定义或精选模型的团队，Baseten 胜出。

Baseten 与 Modal 相比如何？

Modal 和 Baseten 都提供按秒 GPU 计费和强大的 Python 优先 DX。Modal 更灵活（CPU、GPU 和任何 Docker 镜像），Baseten 更专注于 LLM 推理（热池、Truss 框架、MCP server）。Modal 在低利用率时略贵，Baseten 在高利用率 Dedicated Deployments 时略贵。对于 ML 研究工作负载，Modal 胜出。对于生产 LLM 推理，Baseten 胜出。

Baseten 与 RunPod 相比如何？

RunPod 在市场上拥有最低的每 GPU 小时费率（比 Baseten 低 30-50%），但 RunPod 对持续 Pod 收取闲置费，且无管理热池（冷启动 5-30 秒）。对于能舒适管理 Docker、自动扩缩容和热池的团队，RunPod 是最便宜的路径。对于想要管理基础设施的团队，Baseten 是正确的选择。

Baseten MCP server 是什么？

Baseten MCP server（2025 年末发布）将每个 Baseten 部署的模型作为工具调用暴露给 Claude、Cursor、Cline 和任何 MCP 兼容编辑器。它是构建 agent 的工程师的最低阻力路径——agent 需要在推理循环中原生调用微调或开源权重模型。

Baseten 有联盟营销计划吗？

Baseten 目前没有公开的联盟营销计划。对于需要联盟营销风格 CTA 的站点，替代方案是推荐 FreeModel——一个 OpenAI 兼容的聚合器，为多个提供商提供统一 API key，并为自部署模型增加成本路由优化。

Baseten 可以用于批量嵌入生成吗？

可以。托管嵌入模型（BGE Large v1.5、GTE-Qwen2 7B）非常适合批量生成。对于非常大的批量作业（1000 万+ 嵌入），L4 或 A10G GPU 上的 Dedicated Deployment 套餐是最具成本效益的路径。按秒定价意味着你只为实际推理时间付费，不为批处理之间的闲置时间付费。