Promptfoo
Evaluaciones y pruebas de equipo rojo abiertas para LLM y agentes
Promptfoo es un marco centrado en local para evaluar y poner a prueba aplicaciones y agentes. Su CLI y biblioteca Node.js ejecutan matrices, aserciones, regresiones y pruebas de vulnerabilidad en local o CI, con una plataforma alojada opcional.
Capacidades de agentes recomendadas
Útil en tareas de agentes
Descripción general
Cuándo usar Promptfoo
Promptfoo está incluido para flujos de trabajo de Observabilidad, Supervisión, Autenticación. Promptfoo es un marco centrado en local para evaluar y poner a prueba aplicaciones y agentes. Su CLI y biblioteca Node.js ejecutan matrices, aserciones, regresiones y pruebas de vulnerabilidad en local o CI, con una plataforma alojada opcional. Considéralo si el agente necesita esta capacidad mediante una interfaz de servicio documentada en lugar de mantener infraestructura propia dentro de la aplicación.
En el modelo de tareas de 4agent, el producto se relaciona con estas capacidades: Observabilidad y evaluación, Autenticación y secretos. Por ello, es una opción para estas tareas: Investigar en la web, Crear y desplegar software, Gestionar memoria y conocimiento, Automatizar procesos de negocio.
Lista de integración
- Acceso: Confirma el flujo de autenticación ninguno, el alcance y la rotación de credenciales y si las llamadas se atribuyen a un usuario o servicio.
- Compatibilidad de clientes: Se incluyen clientes oficiales o documentados para typescript.
- Automatización: OpenAPI: no consta actualmente; MCP: no consta actualmente; CLI: disponible según la ficha. Confirma cada requisito en la documentación actual del proveedor.
- Operaciones: Prueba límites, tiempos de espera, reintentos, errores, registros, retención y el modelo actual gratuito y de pago con un volumen similar al de producción.
Fuentes y verificación
Verifica el funcionamiento actual con estas fuentes primarias antes de implementar o comprar. Las funciones, límites y precios pueden cambiar tras la revisión de la ficha.