可观测性与评估 面向 Agent 的工具
追踪 Agent 运行、评估结果并诊断生产故障。
比较服务商
46 款 Agent 可用工具对应这项能力。
AgentHaus
可导出生产级 TypeScript 的可视化 Agent 构建工具
AgentOpsMCP
AI Agent 会话回放、监控与评估
AgentuityMCPCLI
专为 AI Agent 构建的全栈云平台
Arga LabsMCPCLI
用于 AI Agent 测试和训练的有状态服务孪生体
Arize PhoenixMCPCLI
面向 LLM 应用的开源追踪与评估
AxiomCLI
面向 Agent 系统的云原生日志、追踪与事件数据
Baserun
面向 LLM 应用的可观测性、测试和评估
BentoLabs AI
长时间运行 AI Agent 的监控与学习
BraintrustMCPCLI
AI 产品的评估、追踪与提示词管理
Confident AIMCPCLI
面向可靠 AI Agent 的评估与可观测性平台
ContextForgeMCPCLI
面向 AI Agent 的开源 MCP、A2A 和 API 网关
CovalMCPCLI
语音和聊天 Agent 的模拟、评估与监控
Credal.aiMCPCLI
企业 Agent 的安全与治理控制层
DAGWorksCLI
面向可靠数据流和 Agent 的开源框架
dari.devCLI
应用与编码 Agent 的有状态模型路由
Galileo
可靠生产 Agent 的 AI 可观测性与评估
GolfMCPCLI
MCP 工具的安全与治理基础设施
Guardrails AICLI
让 LLM 应用更安全、输出更结构化的开源验证框架
HatchetCLI
Agent 与后台任务的持久化编排
HeliconeMCP
开源 AI 网关与可观测性平台
HUDMCPCLI
AI Agent 的强化学习环境与可扩展评估
HumanLayerCLI
编码 Agent 的多人协作 IDE 与云控制层
InngestMCPCLI
AI Agent 的持久工作流与后台任务
Kestrel AIMCPCLI
由 AI Agent 构建和运行的确定性平台工程工作流
LaminarMCPCLI
AI Agent 的追踪、评估与调试
LangfuseMCPCLI
开源 LLM 工程平台:追踪、评估与提示词
LangSmith
不绑定框架的 Agent 追踪、评估与监控
LemmaMCP
AI Agent 的生产追踪与调试
LiteLLMMCPCLI
统一调用超过 100 种 LLM API 的开源网关
MastraMCPCLI
构建与运营 AI Agent 的 TypeScript 框架
OmnaraCLI
随时随地监督编码 Agent 的控制层
OpenlayerCLI
生产 AI 的评估、可观测性与治理
OpenPipe
生产 Agent 的微调与模型优化
Parea
LLM 应用与 Agent 的评估和可观测性
PortkeyMCPCLI
面向 1600 多个 LLM 的 AI 网关,集可观测性、护栏与治理于一体
PostHogMCPCLI
面向 Agent 体验的产品分析与可观测性
PromptfooCLI
LLM 应用与 Agent 的开源评估和红队测试
Respan
Agent 的 AI 网关、评估与可观测性
Runloop
编码 Agent 的持久开发沙箱与基准测试
SentryMCPCLI
全栈错误、性能与 AI Agent 监控
Superagent
AI 原生软件的安全扫描、护栏与红队测试
TensorZeroCLI
LLM 应用的开源网关、可观测性与优化技术栈
Traceloop
基于 OpenTelemetry 的 LLM 与 Agent 可观测性
Trigger.devMCPCLI
生产 AI Agent 的持久后台任务与工作流
Agent-Ready Repo Auditor
面向编码 Agent 的公开仓库证据检查
Telemetry
编码 Agent 的结构化事件与 SQL
如何评估可观测性与评估工具
可观测性与评估解释 Agent 尝试了什么、调用了哪些工具、返回了什么,以及最终结果是否满足任务。生产系统同时需要运行遥测和任务级质量信号。
比较追踪覆盖、提示词和工具调用记录、敏感信息遮盖、评估流程、数据集管理、告警、导出及成本归属,确认遥测可跨模型、应用、队列和工具关联,且不泄露秘密。
本页列出的 46 家服务商只是候选项,并非通用排名。请根据下方要求筛选工具,对照各服务商的最新文档核实说明,并用接近生产环境的输入完成小规模概念验证。
评估清单
- 追踪应串联用户请求、模型调用、工具调用、重试和最终输出。
- 敏感输入存储前脱敏,并按角色控制访问。
- 评估应衡量任务结果,而不只看延迟和令牌数。
来源与核验
实施或采购前,请用这些一手来源核实当前行为。产品能力、限制和价格可能在 4agent 审核后发生变化。