跳转到内容

可观测性与评估 面向 Agent 的工具

追踪 Agent 运行、评估结果并诊断生产故障。

比较服务商

46 款 Agent 可用工具对应这项能力。

AgentHaus logo

AgentHaus

部署 · 可观测性

可导出生产级 TypeScript 的可视化 Agent 构建工具

封闭发布typescript
AgentOps logo

AgentOpsMCP

可观测性 · 监控

AI Agent 会话回放、监控与评估

免费typescript, python
Agentuity logo

AgentuityMCPCLI

部署 · 托管 · 沙箱 · 可观测性

专为 AI Agent 构建的全栈云平台

免费typescript
Arga Labs logo

Arga LabsMCPCLI

沙箱 · 代码执行 · 可观测性

用于 AI Agent 测试和训练的有状态服务孪生体

免费
Arize Phoenix logo

Arize PhoenixMCPCLI

可观测性 · 监控

面向 LLM 应用的开源追踪与评估

免费typescript, python
Axiom logo

AxiomCLI

可观测性 · 监控 · 数据

面向 Agent 系统的云原生日志、追踪与事件数据

免费typescript, python, go
Baserun logo

Baserun

可观测性 · 监控

面向 LLM 应用的可观测性、测试和评估

免费typescript, python
BentoLabs AI logo

BentoLabs AI

监控 · 可观测性

长时间运行 AI Agent 的监控与学习

免费typescript, python
Braintrust logo

BraintrustMCPCLI

可观测性 · 监控 · 数据

AI 产品的评估、追踪与提示词管理

免费typescript, python
Confident AI logo

Confident AIMCPCLI

可观测性 · 监控 · 数据

面向可靠 AI Agent 的评估与可观测性平台

免费python
ContextForge logo

ContextForgeMCPCLI

部署 · 可观测性 · 认证

面向 AI Agent 的开源 MCP、A2A 和 API 网关

免费python
Coval logo

CovalMCPCLI

可观测性 · 监控 · 音频

语音和聊天 Agent 的模拟、评估与监控

$100/月
Credal.ai logo

Credal.aiMCPCLI

认证 · 身份 · 监控

企业 Agent 的安全与治理控制层

联系销售typescript, python
DAGWorks logo

DAGWorksCLI

代码执行 · 数据 · 可观测性

面向可靠数据流和 Agent 的开源框架

免费python
dari.dev logo

dari.devCLI

部署 · 可观测性 · 代码执行

应用与编码 Agent 的有状态模型路由

免费typescript
Galileo logo

Galileo

可观测性 · 监控 · 数据

可靠生产 Agent 的 AI 可观测性与评估

免费typescript, python
Golf logo

GolfMCPCLI

认证 · 身份 · 监控

MCP 工具的安全与治理基础设施

免费typescript, python
Guardrails AI logo

Guardrails AICLI

认证 · 监控 · 数据

让 LLM 应用更安全、输出更结构化的开源验证框架

免费python
Hatchet logo

HatchetCLI

部署 · 代码执行 · 可观测性

Agent 与后台任务的持久化编排

免费typescript, python, go, ruby
Helicone logo

HeliconeMCP

可观测性 · 监控

开源 AI 网关与可观测性平台

免费typescript, python
HUD logo

HUDMCPCLI

沙箱 · 代码执行 · 可观测性

AI Agent 的强化学习环境与可扩展评估

免费python
HumanLayer logo

HumanLayerCLI

代码执行 · 部署 · 可观测性

编码 Agent 的多人协作 IDE 与云控制层

免费
Inngest logo

InngestMCPCLI

部署 · 代码执行 · 可观测性

AI Agent 的持久工作流与后台任务

免费typescript, python, go
Kestrel AI logo

Kestrel AIMCPCLI

部署 · 监控 · 代码执行

由 AI Agent 构建和运行的确定性平台工程工作流

$0.10/次操作python
Laminar logo

LaminarMCPCLI

可观测性 · 监控

AI Agent 的追踪、评估与调试

免费typescript, python
Langfuse logo

LangfuseMCPCLI

监控 · 可观测性

开源 LLM 工程平台:追踪、评估与提示词

免费typescript, python
LangSmith logo

LangSmith

可观测性 · 监控

不绑定框架的 Agent 追踪、评估与监控

免费python, typescript, go, java
Lemma logo

LemmaMCP

可观测性 · 监控

AI Agent 的生产追踪与调试

免费typescript, python
LiteLLM logo

LiteLLMMCPCLI

部署 · 监控

统一调用超过 100 种 LLM API 的开源网关

免费python
Mastra logo

MastraMCPCLI

代码执行 · 部署 · 可观测性

构建与运营 AI Agent 的 TypeScript 框架

免费typescript
Omnara logo

OmnaraCLI

可观测性 · 通信 · 代码执行

随时随地监督编码 Agent 的控制层

免费python
Openlayer logo

OpenlayerCLI

可观测性 · 监控

生产 AI 的评估、可观测性与治理

免费typescript, python
OpenPipe logo

OpenPipe

数据 · 可观测性 · 部署

生产 Agent 的微调与模型优化

免费typescript, python
Parea logo

Parea

可观测性 · 监控

LLM 应用与 Agent 的评估和可观测性

免费typescript, python
Portkey logo

PortkeyMCPCLI

可观测性 · 监控

面向 1600 多个 LLM 的 AI 网关,集可观测性、护栏与治理于一体

免费typescript, python
PostHog logo

PostHogMCPCLI

可观测性 · 监控 · 数据

面向 Agent 体验的产品分析与可观测性

免费typescript, python, go, java
Promptfoo logo

PromptfooCLI

可观测性 · 监控 · 认证

LLM 应用与 Agent 的开源评估和红队测试

免费typescript
Respan logo

Respan

可观测性 · 监控 · 部署

Agent 的 AI 网关、评估与可观测性

免费typescript, python
Runloop logo

Runloop

沙箱 · 代码执行 · 可观测性

编码 Agent 的持久开发沙箱与基准测试

免费typescript, python
Sentry logo

SentryMCPCLI

监控 · 可观测性

全栈错误、性能与 AI Agent 监控

免费javascript, python, go, java, ruby
Superagent logo

Superagent

认证 · 监控 · 可观测性

AI 原生软件的安全扫描、护栏与红队测试

免费
TensorZero logo

TensorZeroCLI

可观测性 · 监控 · 数据

LLM 应用的开源网关、可观测性与优化技术栈

免费python
Traceloop logo

Traceloop

可观测性 · 监控

基于 OpenTelemetry 的 LLM 与 Agent 可观测性

免费typescript, python
Trigger.dev logo

Trigger.devMCPCLI

部署 · 代码执行 · 可观测性

生产 AI Agent 的持久后台任务与工作流

免费typescript
Agent-Ready Repo Auditor logo

Agent-Ready Repo Auditor

监控 · 数据

面向编码 Agent 的公开仓库证据检查

免费python
Telemetry logo

Telemetry

可观测性 · 数据 · 监控

编码 Agent 的结构化事件与 SQL

免费javascript, typescript, python, go, rust

如何评估可观测性与评估工具

可观测性与评估解释 Agent 尝试了什么、调用了哪些工具、返回了什么,以及最终结果是否满足任务。生产系统同时需要运行遥测和任务级质量信号。

比较追踪覆盖、提示词和工具调用记录、敏感信息遮盖、评估流程、数据集管理、告警、导出及成本归属,确认遥测可跨模型、应用、队列和工具关联,且不泄露秘密。

本页列出的 46 家服务商只是候选项,并非通用排名。请根据下方要求筛选工具,对照各服务商的最新文档核实说明,并用接近生产环境的输入完成小规模概念验证。

评估清单

  • 追踪应串联用户请求、模型调用、工具调用、重试和最终输出。
  • 敏感输入存储前脱敏,并按角色控制访问。
  • 评估应衡量任务结果,而不只看延迟和令牌数。

来源与核验

实施或采购前,请用这些一手来源核实当前行为。产品能力、限制和价格可能在 4agent 审核后发生变化。