本文へスキップ

可観測性と評価 エージェント向けツール

エージェントの実行を追跡し、結果を評価して、本番環境の障害を診断します。

提供元を比較

46 件のエージェント対応ツールがこの機能に対応しています。

AgentHaus logo

AgentHaus

デプロイ · 可観測性

本番向け TypeScript を出力できるビジュアルエージェント開発ツール

限定公開typescript
AgentOps logo

AgentOpsMCP

可観測性 · 監視

AI エージェントのセッション再生、監視、評価

無料typescript, python
Agentuity logo

AgentuityMCPCLI

デプロイ · ホスティング · サンドボックス · 可観測性

AI エージェント向けのフルスタッククラウド基盤

無料typescript
Arga Labs logo

Arga LabsMCPCLI

サンドボックス · コード実行 · 可観測性

AI エージェントのテスト・訓練用の状態を持つサービスツイン

無料
Arize Phoenix logo

Arize PhoenixMCPCLI

可観測性 · 監視

LLM アプリ向けのオープンソースのトレースと評価

無料typescript, python
Axiom logo

AxiomCLI

可観測性 · 監視 · データ

エージェントシステム向けのクラウドネイティブなログ、トレース、イベントデータ

無料typescript, python, go
Baserun logo

Baserun

可観測性 · 監視

LLM アプリ向けの可観測性、テスト、評価

無料typescript, python
BentoLabs AI logo

BentoLabs AI

監視 · 可観測性

長時間稼働する AI エージェントの監視と学習

無料typescript, python
Braintrust logo

BraintrustMCPCLI

可観測性 · 監視 · データ

AI 製品の評価、トレース、プロンプト管理

無料typescript, python
Confident AI logo

Confident AIMCPCLI

可観測性 · 監視 · データ

信頼できる AI エージェント向けの評価・可観測性基盤

無料python
ContextForge logo

ContextForgeMCPCLI

デプロイ · 可観測性 · 認証

AI エージェント向けのオープンソース MCP・A2A・API ゲートウェイ

無料python
Coval logo

CovalMCPCLI

可観測性 · 監視 · 音声

音声・チャットエージェントのシミュレーション、評価、監視

月額 $100
Credal.ai logo

Credal.aiMCPCLI

認証 · ID 管理 · 監視

企業エージェントの安全性とガバナンスを制御する基盤

営業に問い合わせtypescript, python
DAGWorks logo

DAGWorksCLI

コード実行 · データ · 可観測性

信頼できるデータフローとエージェントのためのオープンソースフレームワーク

無料python
dari.dev logo

dari.devCLI

デプロイ · 可観測性 · コード実行

アプリとコーディングエージェント向けの状態を持つモデルルーティング

無料typescript
Galileo logo

Galileo

可観測性 · 監視 · データ

信頼できる本番エージェントのための AI 可観測性と評価

無料typescript, python
Golf logo

GolfMCPCLI

認証 · ID 管理 · 監視

MCP ツール向けのセキュリティとガバナンス基盤

無料typescript, python
Guardrails AI logo

Guardrails AICLI

認証 · 監視 · データ

安全な構造化 LLM アプリのためのオープンソース検証フレームワーク

無料python
Hatchet logo

HatchetCLI

デプロイ · コード実行 · 可観測性

エージェントとバックグラウンド処理の耐久性あるオーケストレーション

無料typescript, python, go, ruby
Helicone logo

HeliconeMCP

可観測性 · 監視

オープンソースの AI ゲートウェイと可観測性基盤

無料typescript, python
HUD logo

HUDMCPCLI

サンドボックス · コード実行 · 可観測性

AI エージェント向けの強化学習環境と拡張可能な評価

無料python
HumanLayer logo

HumanLayerCLI

コード実行 · デプロイ · 可観測性

コーディングエージェント向けの共同作業 IDE とクラウド制御基盤

無料
Inngest logo

InngestMCPCLI

デプロイ · コード実行 · 可観測性

AI エージェント向けの耐久性あるワークフローとバックグラウンド処理

無料typescript, python, go
Kestrel AI logo

Kestrel AIMCPCLI

デプロイ · 監視 · コード実行

AI エージェントが構築・運用する決定的なプラットフォームエンジニアリング処理

1 操作 $0.10python
Laminar logo

LaminarMCPCLI

可観測性 · 監視

AI エージェントのトレース、評価、デバッグ

無料typescript, python
Langfuse logo

LangfuseMCPCLI

監視 · 可観測性

トレース、評価、プロンプトを扱うオープンソースの LLM 開発基盤

無料typescript, python
LangSmith logo

LangSmith

可観測性 · 監視

フレームワークを問わないエージェントのトレース、評価、監視

無料python, typescript, go, java
Lemma logo

LemmaMCP

可観測性 · 監視

AI エージェントの本番トレースとデバッグ

無料typescript, python
LiteLLM logo

LiteLLMMCPCLI

デプロイ · 監視

100 以上の LLM API を呼び出せるオープンソースゲートウェイ

無料python
Mastra logo

MastraMCPCLI

コード実行 · デプロイ · 可観測性

AI エージェントの開発・運用のための TypeScript フレームワーク

無料typescript
Omnara logo

OmnaraCLI

可観測性 · コミュニケーション · コード実行

どこからでもコーディングエージェントを監督できる制御基盤

無料python
Openlayer logo

OpenlayerCLI

可観測性 · 監視

本番 AI の評価、可観測性、ガバナンス

無料typescript, python
OpenPipe logo

OpenPipe

データ · 可観測性 · デプロイ

本番エージェント向けのファインチューニングとモデル最適化

無料typescript, python
Parea logo

Parea

可観測性 · 監視

LLM アプリとエージェントの評価・可観測性

無料typescript, python
Portkey logo

PortkeyMCPCLI

可観測性 · 監視

可観測性、安全制御、統制を備えた 1,600 以上の LLM 向け AI ゲートウェイ

無料typescript, python
PostHog logo

PostHogMCPCLI

可観測性 · 監視 · データ

エージェント体験のための製品分析と可観測性

無料typescript, python, go, java
Promptfoo logo

PromptfooCLI

可観測性 · 監視 · 認証

LLM アプリとエージェントのためのオープンソース評価・レッドチーム基盤

無料typescript
Respan logo

Respan

可観測性 · 監視 · デプロイ

エージェント向けの AI ゲートウェイ、評価、可観測性

無料typescript, python
Runloop logo

Runloop

サンドボックス · コード実行 · 可観測性

コーディングエージェント向けの永続開発サンドボックスとベンチマーク

無料typescript, python
Sentry logo

SentryMCPCLI

監視 · 可観測性

アプリ全体のエラー、性能、AI エージェントを監視

無料javascript, python, go, java, ruby
Superagent logo

Superagent

認証 · 監視 · 可観測性

AI ネイティブソフトウェアの安全検査、保護、レッドチーム検証

無料
TensorZero logo

TensorZeroCLI

可観測性 · 監視 · データ

LLM アプリ向けのオープンソースなゲートウェイ、監視、最適化基盤

無料python
Traceloop logo

Traceloop

可観測性 · 監視

LLM とエージェント向けの OpenTelemetry 可観測性

無料typescript, python
Trigger.dev logo

Trigger.devMCPCLI

デプロイ · コード実行 · 可観測性

本番 AI エージェント向けの耐久性あるバックグラウンド処理とワークフロー

無料typescript
Agent-Ready Repo Auditor logo

Agent-Ready Repo Auditor

監視 · データ

コーディングエージェント向けの公開リポジトリ証拠チェック

無料python
Telemetry logo

Telemetry

可観測性 · データ · 監視

コーディングエージェント向けの構造化イベントと SQL

無料javascript, typescript, python, go, rust

可観測性と評価ツールの評価方法

試みた内容、使ったツール、返された結果、目標の達成を説明します。本番では運用情報とタスク単位の品質の両方が必要です。

トレース範囲、入力と呼び出しの記録、秘匿、評価、データセット、通知、出力、費用配賦を比較します。秘密を漏らさず、モデル、アプリ、キュー、ツールを横断して情報を結合できるか確認します。

このページの 46 社は候補であり、総合的な順位ではありません。以下の要件で絞り込み、各提供元の最新資料で説明を確認し、本番に近い入力で小規模な検証を行ってください。

評価チェックリスト

  • ユーザー要求、モデル、ツール、再試行、最終出力が一つのトレースにつながること。
  • 保存前に機微情報を隠し、役割でアクセスを制御すること。
  • 遅延やトークン数だけでなく、タスクの成果を測ること。

情報源と検証

実装や購入の判断前に、一次資料で最新の動作を確認してください。機能、制限、価格は掲載確認後に変わる場合があります。