跳转到内容
Spider logo

Spider

面向 AI Agent 和 LLM 的高速网页爬取与抓取 API

Spider 是采用积分计费、输出 LLM 可用内容的高速网页爬虫。它提供 Python、Node、Rust、Go SDK,以及 LangChain、LlamaIndex、CrewAI 原生插件,并提供官方 MCP 服务器用于 Agent 集成。

适用的 Agent 能力

适用的 Agent 任务

概览

认证API 密钥
定价提供免费层 · 每 1,000 页 $0.48
SDKspython, javascript, rust, go
OpenAPI是
MCP 支持是

何时使用 Spider

Spider 适用于网页抓取, 数据工作流。 Spider 是采用积分计费、输出 LLM 可用内容的高速网页爬虫。它提供 Python、Node、Rust、Go SDK,以及 LangChain、LlamaIndex、CrewAI 原生插件,并提供官方 MCP 服务器用于 Agent 集成。 如果 Agent 需要通过有文档说明的服务接口获得这项能力,而不想在应用内部维护专用基础设施,可以考虑使用它。

在 4agent 的任务模型中,该产品对应的能力为:网页内容提取, 工作流自动化。 因此,它可作为以下任务的候选工具:网络研究, 管理记忆与知识, 与用户沟通, 自动化业务流程。

集成清单

  • 访问: 确认 API 密钥 认证流程、凭据范围、轮换方式,以及调用能否归因到用户或服务身份。
  • 客户端支持: 已列出 python, javascript, rust, go 的官方或文档支持的客户端。
  • 自动化: OpenAPI:已记录为可用;MCP:已记录为可用;CLI:目前未记录。请在供应商最新文档中确认各项要求。
  • 运行管理: 以接近生产的用量测试限流、超时、重试安全、错误响应、日志、数据保留和当前免费层及付费定价模式。

来源与核验

实施或采购前,请用这些一手来源核实当前行为。产品能力、限制和价格可能在 4agent 审核后发生变化。