Promptfoo 是优先本地运行的 LLM 应用与 Agent 评估及红队框架。其 CLI 和 Node.js 库可在本地或 CI 中运行测试矩阵、断言、回归检查和漏洞探测,并为团队提供可选托管平台。
适用的 Agent 能力
适用的 Agent 任务
概览
认证无
定价提供免费层 · $0
SDKstypescript
OpenAPI否
MCP 支持否
何时使用 Promptfoo
Promptfoo 适用于可观测性, 监控, 认证工作流。 Promptfoo 是优先本地运行的 LLM 应用与 Agent 评估及红队框架。其 CLI 和 Node.js 库可在本地或 CI 中运行测试矩阵、断言、回归检查和漏洞探测,并为团队提供可选托管平台。 如果 Agent 需要通过有文档说明的服务接口获得这项能力,而不想在应用内部维护专用基础设施,可以考虑使用它。
在 4agent 的任务模型中,该产品对应的能力为:可观测性与评估, 身份认证与密钥。 因此,它可作为以下任务的候选工具:网络研究, 构建和部署软件, 管理记忆与知识, 自动化业务流程。
集成清单
- 访问: 确认 无 认证流程、凭据范围、轮换方式,以及调用能否归因到用户或服务身份。
- 客户端支持: 已列出 typescript 的官方或文档支持的客户端。
- 自动化: OpenAPI:目前未记录;MCP:目前未记录;CLI:已记录为可用。请在供应商最新文档中确认各项要求。
- 运行管理: 以接近生产的用量测试限流、超时、重试安全、错误响应、日志、数据保留和当前免费层及付费定价模式。
来源与核验
实施或采购前,请用这些一手来源核实当前行为。产品能力、限制和价格可能在 4agent 审核后发生变化。