Portkey (Portkey)

收录于 https://portkey.ai

综合排名 #11 ⭐ 可考虑
❌ 需代理(portkey.ai 域名在国内访问不稳定,推荐自托管开源版本) | 🌍 国际

💰 Token 价格

类型 价格 备注
输入 (Input) Free 层: 10,000 请求/月;Hobby $49/月(10万请求);Growth $249/月(100万请求);Enterprise 合同制 每百万 tokens
输出 (Output) 请求量计费,不收 token 路由费;BYOK 免费;日志/可观测性/Caching 按订阅档位开放 每百万 tokens
💡 免费额度

每月 10,000 次请求;100K 日志保留;社区 Slack 支持;BYOK 免费;无信用卡要求

🤖 支持模型(共 200 个)

OpenAI GPT-4o / GPT-5 / GPT-5.6 family Anthropic Claude Opus 5 / Sonnet 5 / Haiku Google Gemini 2.5 / 3.0 / 3.6 Flash DeepSeek V3 / V4 / R1 Mistral Large / Small / Codestral Meta Llama 3.3 70B / 405B xAI Grok 3 / Grok 4 Cohere Command R+ / Rerank Perplexity Sonar Pro Qwen 2.5 / Qwen 3 AWS Bedrock Claude / Titan / Llama Azure OpenAI service Together AI / Fireworks AI / DeepInfra 200+ models via unified OpenAI-compatible API

✨ 优势

  • 🎯 AI Gateway + 全栈可观测性一体化:Gateway、Logs、Feedback、Guardrails 同一控制台
  • 200+ 模型统一 OpenAI 兼容接口,BYOK(Bring Your Own Key)零加价
  • Fallback / Load Balancing / A/B Testing / Canary 等多 Provider 策略
  • Prompt Playground + 版本管理 + 多人协作审核
  • Guardrails 安全检查:PII 屏蔽、越狱检测、关键词过滤(50+ 内置规则)
  • Open source 自托管版(GitHub 9k+ stars,Apache 2.0),企业可私有化部署
  • Slack/Discord/Email/WhatsApp 告警集成 + Webhook 触发工作流

⚠️ 不足

  • × 国内访问 portkey.ai 控制台需代理(自托管可解决)
  • × 免费层仅 1 万请求/月,Growth $249/月价格高于 OpenRouter Free
  • × 可观测性 / Guardrails / Prompt 管理等功能高度耦合,不适合极简需求
  • × 学习曲线:配置项较多(Configs、Virtual Keys、Workspaces 三层概念)
  • × 非开源 SaaS 默认存储调用日志在 Portkey 云端(可自托管规避)

🎯 适合场景

需要 AI Gateway + 可观测性的中小团队(2-50 人);多 Provider 容灾 / A/B 测试 / 成本归因;Prompt 版本管理与团队协作;对 Guardrails 安全合规有要求的生产场景

💰 价格与方案

方案价格记录日志量保留期最佳用途
Free Forever(免费)$0每月 1 万条日志 3 天 · 指标 30 天原型验证、POC、企业试用评估
Production(热门)$49 / 月每月 10 万条(超出每 10 万 +$9)日志 30 天 · 指标 90 天将 LLM 应用推向生产的团队
Enterprise(企业版)按需定制每月 1000 万条以上自定义保留期需要 SSO、RBAC、数据驻留的大规模负载

🔧 API 与开发者体验

  • 通用 API: 一个 OpenAI 兼容端点(`https://api.portkey.ai/v1`)即可代理 OpenAI、Anthropic、Google、DeepSeek、Mistral、xAI、Bedrock、Azure 等 200+ 模型——通过切换 provider 字符串更换模型,无需改动代码。
  • BYOK 零加价: 自带密钥(Bring Your Own Key)将 token 直连上游提供商;Portkey 仅按网关功能收费,不会在模型调用上加价。
  • 路由与容灾: 按请求选择提供商,支持自动故障转移、加权负载均衡、A/B 测试与灰度发布——当某厂商触发限流或性能下降时代理流量依然稳定。
  • 缓存: 简单缓存与语义缓存降低重复请求的成本与延迟;语义缓存按意图而非精确字符串匹配,社区反馈可大幅削减重复测试调用。
  • SDK 与流式: 官方 TypeScript/JavaScript 与 Python SDK,兼容 OpenAI 客户端;SSE 流式透传,对聊天类应用附加延迟极低。
  • Guardrails 安全护栏: 50+ 内置安全检查,包括 PII 脱敏、越狱与提示注入检测、关键词过滤,在请求到达上游模型前强制执行。
  • 密钥管理与成本: 虚拟密钥(Virtual Keys)可为每个应用或用户签发映射到真实上游密钥的独立密钥,并配置预算与速率限制——非常适合跨团队与客户项目的成本归因。

🛡️ AI 网关、安全护栏与全栈可观测性

Portkey 的差异在于把企业级 AI 网关与全栈可观测性集成在同一个控制台中,而不是把路由功能硬塞进其他工具。所有调用都在同一面板落地:日志、链路追踪、请求/响应内容、自定义元数据与反馈,同屏提供按请求的故障转移、负载均衡、A/B 与灰度路由。这种同源共置正是 Portkey 在生产中实用的原因——当某个提示词回归或某个提供商性能下降时,你能在追踪里看到问题并在同一界面重新路由,无需在网关、指标工具与提示词仓库之间来回切换。Guardrails 安全护栏(PII 脱敏、越狱与提示注入检测)在上游调用前内联执行;提示词管理提供版本、Playground 与多人审批,覆盖模型变更所需的团队协作流程。

🌐 中国访问与延迟

Portkey 并非中国本土服务。portkey.ai 控制台与托管网关在中国大陆可访问但连接不稳定,大陆团队通常报告需要代理才能稳定使用 SaaS——对延迟敏感的生产环境则更推荐自托管方案。Portkey 提供开源版本(Apache 2.0,GitHub 9k+ 星标),可部署到自己的 VPC 内,既解决国内访问问题,也消除云端日志顾虑,因为数据不会离开你的基础设施。托管 API 的延迟自然以大陆机房为最高,取决于你到 Portkey 边缘节点的代理路径;在中国区自托管可完全省去这一跳。对大陆团队的实际建议很明确:使用 SaaS 控制台需代理,或自托管以获取生产级延迟与数据驻留。