Arize Phoenix (Arize Phoenix)

收录于 https://phoenix.arize.com

综合排名 #12 ⭐ 可考虑
✅ 开源自部署 + Cloud 托管(境外服务,境内需代理访问 SaaS) | 🌍 国际

💰 Token 价格

类型 价格 备注
输入 (Input) Cloud 免费层: 10 GiB 存储/工作空间;自托管: $0(仅基础设施费) 每百万 tokens
输出 (Output) Phoenix Cloud 付费: 按量付费(存储计费);Arize AX 企业: 合同制 每百万 tokens
💡 免费额度

Phoenix Cloud 免费套餐:每工作空间 10 GiB 存储(无时间限制)

🤖 支持模型(共 100 个)

OpenTelemetry 原生 trace collector,支持任意 LLM 框架 Phoenix Cloud 托管 + 自托管 (Apache-2 / Elastic-2.0)

✨ 优势

  • 唯一的 Elastic-2.0 开源(10,600+ 颗星),OpenTelemetry 原生 LLM 可观测性平台
  • 17+ LLM 框架自动接入:OpenAI / Anthropic / LangChain / LlamaIndex / vLLM / Ollama 等
  • Cloud 免费层 10 GiB 存储,无时间限制
  • Phoenix Cloud / 自托管 / Arize AX 企业版三档部署模式可选
  • 完整的 trace + 评测 + 数据集 + 实验 + 提示词 Playground + PXI 代理
  • PXI (Phoenix Intelligence) AI 工程代理(BETA)支持自然语言 trace 调查

⚠️ 不足

  • × 没有请求侧缓存或 fallback 路由(observation-only)
  • × Cloud 免费层只有 10 GiB 存储,高流量场景需付费或自托管
  • × PXI 仍处于 BETA,可能在边角情况下输出错误
  • × UI 比 LangSmith 等闭源竞品略欠打磨
  • × 国内访问 Phoenix Cloud 需代理(自托管 + 国内云可绕开)
  • × 自托管需要 PostgreSQL + Python 应用服务器运维

🎯 适合场景

追求最大控制力与最小厂商锁定的 AI 工程团队;需要 OpenTelemetry 原生 trace 后端的平台团队;自托管合规敏感(医疗、金融、政府)应用;评估大量提示词版本 / RAG pipeline / Agent 工作流的团队

💰 价格与方案

方案价格存储 / 规模最佳用途
Phoenix Cloud 免费版$0每工作空间 10 GiB,无时间限制评测、开源开发、小团队
Phoenix Cloud 专业版按量付费(按存储计费)无限制存储 / 更高 trace 量生产级 LLM 应用、较大团队
自托管(开源)$0(仅基础设施费)自建 PostgreSQL + 计算资源合规敏感 / 追求最大控制
Arize AX 企业版合同制SSO/RBAC/审计日志、专属支持需要治理能力的大型组织

🔧 API 与开发者体验

  • OpenTelemetry 原生: Phoenix 是 OpenTelemetry 原生 trace 后端;任意被插桩应用产生的 OTLP trace 可直接发送,无需厂商专属 SDK。
  • 自动插桩: 一行 wrapper 或环境变量即可为 17+ 框架自动采集 trace:OpenAI、Anthropic、LangChain、LlamaIndex、vLLM、Ollama、DSPy 等。
  • Trace、Span 与评测: 针对 LLM 调用的深层 span/trace 浏览器,加上一流的评测工具(LLM 评判、自定义评分器、人工审核),可直接针对捕获的 trace 运行。
  • 提示词 Playground: 实时迭代提示词并对比模型输出;实验追踪将提示词版本与评测分数一并记录。
  • PXI 代理(BETA): Phoenix Intelligence 支持用自然语言查询你的 trace(如“失败在哪里激增?”),并基于你的数据给出调查结论。
  • 数据集与实验中心: 平台内置版本化数据集、回归测试与实验对比,构成提示词与 RAG 变更最接近 CI/CD 的闭环。
  • 开放许可与本地 UI: 自托管端为 Apache-2/Elastic-2.0 许可的服务器 + 本地 Web UI(无遥测),原始 trace 数据不会离开你的 VPC。

🧩 OpenTelemetry 原生的 LLM 可观测性

Arize Phoenix 的独特之处在于它是少数几个直接构建在 OpenTelemetry 标准之上、而非私有插桩格式的 LLM 可观测性平台。团队已发出的 OTLP trace 可立即接入 Phoenix,或通过一行式自动插桩覆盖 17+ 框架——无需重构技术栈、也无需绑定厂商 SDK。这意味着服务于通用微服务的同一条 trace 管道,同样可以支撑深入的 LLM 分析:span 树、每次调用的 token/成本、提示词-补全对,以及 RAG 管道的检索质量。 Phoenix 将评测直接并入可观测性闭环。与其把 trace 导出到一个工具、再在另一个工具里跑评测,不如直接在 Phoenix 中采集 trace、用 LLM 评判或自定义评分器打分、记录数据集并在同一处迭代提示词。可选的 PXI 代理还能对整个语料进行自然语言调查。再加上 Elastic-2.0 开源的自托管选项,它以极小的厂商锁定成本提供生产级 tracing、评测与实验追踪——非常适合构建内部 LLM 基础设施的平台团队。

🌐 中国访问与延迟

Arize Phoenix 对中国团队有明确优势:核心产品开源且可自托管,大陆团队可在国内云或本地部署 Phoenix 服务器,无需代理访问任何海外 SaaS。自托管服务器自带 Apache-2/Elastic-2.0 许可的本地 Web UI,不产生外部遥测,trace 数据留在 VPC 内部——非常适合受中国数据驻留规则约束的合规敏感负载。作为可观测性后端而非托管模型 API,它没有按 token 的出站成本,也不存在提供方边缘针对中国的限流。 权衡之处仅在于使用 Phoenix Cloud(托管于海外的 SaaS)时:从大陆访问需要 VPN 或海外中转,典型额外延迟约数百毫秒。若想要托管体验又需要中国可访问路径,标准做法是把 Phoenix 自托管在国内云上并让客户端本地连接,这样延迟接近于零。