Crawl4AI 将网页转为干净、可供 LLM 使用的 Markdown，服务于 RAG、Agent 和数据流水线。它支持并行抓取、基于 CSS、XPath 或 LLM 的提取、代理与隐身模式，以及自主多步骤 Agent 式爬取，并以 Apache 2.0 完全开源。
适用的 Agent 能力
适用的 Agent 任务
概览
认证无
定价提供免费层 · $0
SDKspython
OpenAPI否
MCP 支持是
何时使用 Crawl4AI
Crawl4AI 适用于网页抓取, 数据工作流。 Crawl4AI 将网页转为干净、可供 LLM 使用的 Markdown，服务于 RAG、Agent 和数据流水线。它支持并行抓取、基于 CSS、XPath 或 LLM 的提取、代理与隐身模式，以及自主多步骤 Agent 式爬取，并以 Apache 2.0 完全开源。 如果 Agent 需要通过有文档说明的服务接口获得这项能力，而不想在应用内部维护专用基础设施，可以考虑使用它。
在 4agent 的任务模型中，该产品对应的能力为：网页内容提取, 工作流自动化。 因此，它可作为以下任务的候选工具：网络研究, 管理记忆与知识, 与用户沟通, 自动化业务流程。
集成清单
- 访问： 确认 无 认证流程、凭据范围、轮换方式，以及调用能否归因到用户或服务身份。
- 客户端支持： 已列出 python 的官方或文档支持的客户端。
- 自动化： OpenAPI：目前未记录；MCP：已记录为可用；CLI：已记录为可用。请在供应商最新文档中确认各项要求。
- 运行管理： 以接近生产的用量测试限流、超时、重试安全、错误响应、日志、数据保留和当前免费层及付费定价模式。
来源与核验
实施或采购前，请用这些一手来源核实当前行为。产品能力、限制和价格可能在 4agent 审核后发生变化。