Bifrost (by Maxim) (Bifrost (by Maxim))
💰 Token 价格
| 类型 | 价格 | 备注 |
|---|---|---|
| 输入 (Input) | OSS: $0 (Apache-2.0 self-hosted); upstream model token rates pass through with no markup | 每百万 tokens |
| 输出 (Output) | OSS: $0 (Apache-2.0 self-hosted); upstream model token rates pass through with no markup | 每百万 tokens |
Apache-2.0 开源版永久免费（Docker / K8s / Go 二进制 / npx 自托管）；Enterprise 14 天免费试用
🤖 支持模型（共 1000 个）
✨ 优势
- ✓ 开源 Apache-2.0、Go 编写、AI 网关，GitHub 7,869 ⭐、1,176 🍴（截至 2026-09-08）
- ✓ 官方基准：在 500 RPS 持续压测下比 LiteLLM 快 50×，内存占用低 68%
- ✓ 5,000 RPS 下新增延迟 <100µs，单一 OpenAI 兼容 /v1 端点，drop-in 替换 base_url
- ✓ 覆盖 23+ 提供商与 1,000+ 模型：OpenAI / Anthropic / Bedrock / Vertex / Azure / Cohere / Mistral / Groq / Cerebras / Ollama / HuggingFace / Replicate + 自托管模型
- ✓ 内置自动故障切换、负载均衡、语义缓存、虚拟 Key 预算管理、MCP 网关与 OTel/Prometheus 可观测性
- ✓ Enterprise 14 天免费试用 + VPC / 私有化 / 离线部署 + SAML/OIDC SSO + Vault 集成 + 守门规则
⚠️ 不足
- × OSS 版不含 SAML SSO、Vault 集成、守门规则 — 这些属 Enterprise 专属
- × 无公开托管 SaaS 端点 — 客户必须自行在自有 VPC / 私有化 / 离线环境部署
- × 上游模型价格透明转嫁（无加价），但 OSS 版无统一账单/对账面板（Enterprise 版提供）
- × 生态相比 Portkey / Helicone 较新（仓库 2025-03 创建），第三方集成（Vercel AI SDK / LangChain）需要手工配置
- × 中国大陆无可直接使用的官方镜像 — 需自行在境内云上部署并路由到自托管上游才能满足数据驻留
🎯 适合场景
需要 OSS 优先、自托管、企业级性能与合规的 AI 网关的团队；想以零加价透明转发多家上游 token 价格的成本敏感型工作负载；需要 MCP 网关 + OTel 可观测性统一接入 Datadog/Honeycomb 的运维团队；以及必须把数据留在自有 VPC/私有化环境的金融、医疗、政企客户。
💰 价格与方案
| 套餐 | 费用 | 自托管 | 核心能力 |
|---|---|---|---|
| 开源版（OSS） | $0 — Apache-2.0 | Docker / K8s / Go 二进制 / npx | 覆盖 23+ 提供商与 1,000+ 模型；自动故障切换；负载均衡；语义缓存；虚拟 Key；MCP 网关；OTel/Prometheus 可观测性；预算与速率限制；:8080 内置 Web UI |
| Enterprise 试用 | 0 元 14 天 | VPC / 私有化 / 离线部署 | OSS 全部能力 + 守门规则、自适应负载均衡、集群模式、企业级 SSO（SAML/OIDC）、Vault 集成、带联邦认证的 MCP、日志导出、审计日志 |
| Enterprise 生产 | 自定义 — 预约演示 | VPC / 私有化 / 离线部署 | SLA 保障支持、定制安全与治理、VPC 内部署、大规模集群模式 |
🔧 API 与开发者体验
- •OpenAI 兼容端点: 单一 OpenAI 兼容 /v1/chat/completions 端点，自托管时默认 http://localhost:8080 — 任何 OpenAI SDK 只需替换 base_url 即可使用。Anthropic、Vercel AI SDK、LangChain 也只需一行 base_url 切换。
- •内置 23+ 提供商: OpenAI、Anthropic、AWS Bedrock、Google Vertex、Azure OpenAI、Cohere、Mistral、Groq、Cerebras、Ollama、Hugging Face、Replicate — 以及自部署模型 — 全部通过统一接口调用。
- •1,000+ 模型，无需多套 SDK: Bifrost 统一模型命名（如 openai/gpt-4o-mini）与请求/响应格式，同一套客户端代码可路由到 1,000+ 模型，免去为不同厂商维护多套 SDK 的负担。
- •自动故障切换与负载均衡: 可按路由配置多厂商故障切换与权重负载均衡。当 OpenAI 对你降级时，Anthropic 自动接管，无需在客户端写重试逻辑。已在 5,000 RPS 基准中验证。
- •语义缓存: 内置语义缓存，重复或近似 prompt 直接命中缓存减少 token 开支；配合虚拟 Key 实现按团队/按客户的预算隔离与速率限制。
- •MCP 网关 + OTel 可观测性: Bifrost 本身就是 MCP 网关（仓库包含 mcp-gateway、mcp-client、mcp-server 标签），MCP 工具调用同样经过统一治理层。OTel 兼容的指标与 trace 可直接对接 Datadog、Honeycomb、Grafana、Prometheus。
⚡ 为什么选 Bifrost：5k RPS 下比 LiteLLM 快 50×、额外延迟 <100µs
Bifrost 是首个把网关自身视为 hot-path 性能问题、而不只是路由工具的开源 AI 网关。Maxim 公开基准显示，在持续 500 RPS 对比中其吞吐达 LiteLLM 的 50 倍、内存占用低 68%，在 5,000 RPS 下新增延迟低于 100 微秒。网关数据面用 Go 编写，可作为单一二进制、Docker 镜像、npx 包或 Kubernetes 清单分发——从零到带 Web UI 的本地网关只需不到一分钟（`npx -y @maximhq/bifrost`，然后访问 http://localhost:8080）。取舍是 OSS 优先网关的典型模式：OSS 版不包含 SAML SSO、Vault 集成、守门规则——这些属 Enterprise 专属——且没有公开的托管 SaaS 端点；你需自行在自有 VPC、私有化或离线环境中部署 Bifrost，这也正是有合规与数据驻留需求的企业团队选择它而非 OpenRouter 或 Helicone Cloud 的原因。
🌐 区域覆盖与延迟
由于 Bifrost 是自托管软件而非托管 API，「区域覆盖」实际上取决于你选择部署在哪里、路由到哪些上游提供商。部署在 AWS US-East-1 时，OpenAI/Anthropic/Vertex/Bedrock 走原生延迟；部署在 AWS eu-central-1 时，欧盟驻地提供商（Mistral、Azure EU）拿到最低首字节。Bifrost 自身在不同区域的开销都低于 100 µs @ 5,000 RPS，因此延迟预算由你选择的上游模型 API 主导，而非网关本身。内地团队可在阿里云、华为云等本土云上部署 Bifrost，仅路由到自托管的 Ollama 或 vLLM 端点，这是让每个 prompt 字节都留在境内、又与全球开发者使用同一套网关接口的最干净方式。Maxim 没有公开的多租户云服务——每位客户都运行自己的 Bifrost——所以区域故事完全取决于你在 OSS 二进制之上搭建什么。