LiteLLM (LiteLLM)
综合排名 #12 ⭐ 可考虑
✅ 开源自部署，无限制 | 🌍 国际
💰 Token 价格
| 类型 | 价格 | 备注 |
|---|---|---|
| 输入 (Input) | 开源免费自部署；LiteLLM Cloud 按量计费 | 每百万 tokens |
| 输出 (Output) | 开源免费自部署；LiteLLM Cloud 按量计费 | 每百万 tokens |
💡 免费额度
开源版完全免费（自托管）
🤖 支持模型（共 100 个）
通过 Proxy 转发 100+ Provider 任意模型
✨ 优势
- ✓ 100+ Provider 统一接口的知名开源方案
- ✓ 自部署完全免费，数据不出私网
- ✓ 支持 Provider Fallback、负载均衡、预算控制
- ✓ Docker 一键部署
- ✓ Active GitHub 社区增长快
- ✓ 支持自定义 Provider 和模型映射
⚠️ 不足
- × 自部署需要运维能力（Docker/服务器）
- × 无开箱即用的 SaaS 可观测性
- × 不提供加密/Guardrails
- × 高级功能需要自己开发
- × 非标准 API 格式的 Provider 适配有限
🎯 适合场景
需要自托管 API 网关的团队；数据隐私敏感的应用；不想付 SaaS 网关费用的开发者
💰 价格与方案
| 方案 | 价格 | 许可 | 最佳用途 |
|---|---|---|---|
| 开源版（Open Source） | $0 | MIT 类许可 | 希望零网关成本、完全可控、数据留在私有网络的自主部署团队 |
| 企业版（Enterprise） | 销售报价（按年） | 商业许可（自托管或气隙隔离） | 需要 SSO/RBAC、审计日志、密钥管理与规模支持的企业 |
🔧 API 与开发者体验
- •OpenAI 兼容端点: 只需更换 base URL，即可把任意 OpenAI SDK 指向 LiteLLM 代理的 `/chat/completions`（另有 `/responses`、`/embeddings`、`/images`、`/audio`、`/moderations`、`/batches`）——大多数应用无需改代码。
- •一个 API 接 100+ 厂商: 覆盖 OpenAI、Anthropic、Azure、Gemini、AWS Bedrock、Vertex、vLLM、Ollama、Mistral、Groq、xAI 等——包括中国厂商（Dashscope/通义、DeepSeek、ModelScope、月之暗面 Kimi、火山引擎、Xinference）。
- •配置驱动路由: 模型路由、密钥、预算与故障转移全部写在单个 `config.yaml` 中；重启即可热加载路由，无需重新部署应用代码。
- •容灾与流量控制: 按请求的提供商故障转移/失败切换、加权负载均衡、跨模型与厂商的 A/B 或灰度路由，在限流与性能下降时保持调用稳定。
- •虚拟密钥与治理: 为每个应用或用户签发映射到真实上游密钥的虚拟密钥，并配置预算、RPM/TPM 速率限制，以及按密钥、用户、团队、组织的花费追踪。
- •缓存与安全护栏: 提示词与 LLM 缓存降低成本与延迟；内置护栏在上游调用前处理 PII、越狱与提示注入；内置 Prometheus 指标与告警。
- •部署方式: 通过 `pip install litellm` 或 Docker 镜像（`litellm --model ...`）运行，可自托管或气隙隔离，并提供管理后台 UI 与可选的 LiteLLM Enterprise。
🛠️ 开源统一网关
LiteLLM 的核心优势，是作为事实上的开源统一层，让所有 LLM 都看起来像一套一致的 OpenAI 风格 API。团队无需学习十余种厂商 SDK，只需安装代理、在 `config.yaml` 中声明路由，即可通过一个本地 `http://0.0.0.0:4000` 端点调用文本、嵌入、图像与音频。由于网关集中持有密钥、预算与故障转移，策略收敛在一个可审计的位置，而非散落在各个应用中。更重要的是它可以自托管，因此无法把敏感提示词交给第三方 SaaS 的团队，仍能在自己掌控的基础设施上获得企业级路由、故障切换、缓存与花费追踪。结果是一套随任何提供商策略而走的控制面，活跃社区也能在厂商发布新模型时持续跟进适配器。
🌐 中国访问与延迟
由于 LiteLLM 是可通过 pip 或 Docker 自托管的应用，它可在任何能运行容器的环境中部署——包括中国大陆的服务器与国内云。中国团队可将代理部署在阿里云、腾讯云或华为云 VM 上，通过快速的境内链路路由到国内厂商（Dashscope、DeepSeek、月之暗面 Kimi、火山引擎、ModelScope），RTT 常为个位数毫秒，对这些模型完全无需跨境一跳。这使其成为面向中国产品的自然统一网关，同时仍可按需访问海外前沿模型（这需要出口与稳定的出境线路）。托管的 LiteLLM Enterprise 控制面与 SaaS 看板由美国厂商（Berrie AI）运营，并非驻留中国，通常需经代理访问；对严格的数据驻留负载，推荐采用气隙隔离的企业版自托管。