跳转到内容
Promptfoo logo

Promptfoo

LLM 应用与 Agent 的开源评估和红队测试

Promptfoo 是优先本地运行的 LLM 应用与 Agent 评估及红队框架。其 CLI 和 Node.js 库可在本地或 CI 中运行测试矩阵、断言、回归检查和漏洞探测,并为团队提供可选托管平台。

适用的 Agent 能力

适用的 Agent 任务

概览

认证无
定价提供免费层 · $0
SDKstypescript
OpenAPI否
MCP 支持否

何时使用 Promptfoo

Promptfoo 适用于可观测性, 监控, 认证工作流。 Promptfoo 是优先本地运行的 LLM 应用与 Agent 评估及红队框架。其 CLI 和 Node.js 库可在本地或 CI 中运行测试矩阵、断言、回归检查和漏洞探测,并为团队提供可选托管平台。 如果 Agent 需要通过有文档说明的服务接口获得这项能力,而不想在应用内部维护专用基础设施,可以考虑使用它。

在 4agent 的任务模型中,该产品对应的能力为:可观测性与评估, 身份认证与密钥。 因此,它可作为以下任务的候选工具:网络研究, 构建和部署软件, 管理记忆与知识, 自动化业务流程。

集成清单

  • 访问: 确认 无 认证流程、凭据范围、轮换方式,以及调用能否归因到用户或服务身份。
  • 客户端支持: 已列出 typescript 的官方或文档支持的客户端。
  • 自动化: OpenAPI:目前未记录;MCP:目前未记录;CLI:已记录为可用。请在供应商最新文档中确认各项要求。
  • 运行管理: 以接近生产的用量测试限流、超时、重试安全、错误响应、日志、数据保留和当前免费层及付费定价模式。

来源与核验

实施或采购前,请用这些一手来源核实当前行为。产品能力、限制和价格可能在 4agent 审核后发生变化。