跳转到内容
LiteLLM logo

LiteLLM

统一调用超过 100 种 LLM API 的开源网关

LiteLLM 提供兼容 OpenAI 的网关和 Python SDK,通过一个接口调用超过 100 种语言模型 API。其代理为生产 Agent 系统添加路由、重试、虚拟密钥、预算、护栏、用量跟踪和 MCP 访问控制。

适用的 Agent 能力

适用的 Agent 任务

概览

认证API 密钥
定价提供免费层 · 自托管免费
SDKspython
OpenAPI是
MCP 支持是

何时使用 LiteLLM

LiteLLM 适用于部署, 监控工作流。 LiteLLM 提供兼容 OpenAI 的网关和 Python SDK,通过一个接口调用超过 100 种语言模型 API。其代理为生产 Agent 系统添加路由、重试、虚拟密钥、预算、护栏、用量跟踪和 MCP 访问控制。 如果 Agent 需要通过有文档说明的服务接口获得这项能力,而不想在应用内部维护专用基础设施,可以考虑使用它。

在 4agent 的任务模型中,该产品对应的能力为:部署, 工作流自动化, 可观测性与评估。 因此,它可作为以下任务的候选工具:构建和部署软件, 运维生产 Agent, 与用户沟通, 自动化业务流程。

集成清单

  • 访问: 确认 API 密钥 认证流程、凭据范围、轮换方式,以及调用能否归因到用户或服务身份。
  • 客户端支持: 已列出 python 的官方或文档支持的客户端。
  • 自动化: OpenAPI:已记录为可用;MCP:已记录为可用;CLI:已记录为可用。请在供应商最新文档中确认各项要求。
  • 运行管理: 以接近生产的用量测试限流、超时、重试安全、错误响应、日志、数据保留和当前免费层及付费定价模式。

来源与核验

实施或采购前,请用这些一手来源核实当前行为。产品能力、限制和价格可能在 4agent 审核后发生变化。