基本能力
产品定位
Firecrawl MCP Server 是一个专注于网页抓取和数据处理的服务,通过集成 Firecrawl 的能力,提供高效的网页内容提取和分析功能。
核心功能
- 网页抓取与 JS 渲染
- URL 发现与爬取
- 网页搜索与内容提取
- 批量抓取与自动重试(指数退避)
- 信用额度监控
- 全面的日志系统
- 支持云和自托管实例
- 移动/桌面视口支持
- 智能内容过滤
适用场景
- 数据采集与分析
- 网页内容提取
- 批量网页处理
- 深度网页研究
- 自动化测试与监控
工具列表
- Scrape Tool (
firecrawl_scrape
): 从单个 URL 抓取内容,支持高级选项。 - Batch Scrape Tool (
firecrawl_batch_scrape
): 高效抓取多个 URL,内置速率限制和并行处理。 - Check Batch Status (
firecrawl_check_batch_status
): 检查批量操作的状态。 - Search Tool (
firecrawl_search
): 搜索网页并提取内容。 - Crawl Tool (
firecrawl_crawl
): 启动异步爬取,支持高级选项。 - Extract Tool (
firecrawl_extract
): 使用 LLM 能力从网页中提取结构化信息。 - Deep Research Tool (
firecrawl_deep_research
): 进行深度网页研究,结合爬取、搜索和 LLM 分析。 - Generate LLMs.txt Tool (
firecrawl_generate_llmstxt
): 为给定域名生成标准化的 llms.txt 文件。
常见问题解答
- 如何获取 API Key? 可以在 https://www.firecrawl.dev/app/api-keys 创建账户并获取 API Key。
- 如何配置自托管实例? 设置
FIRECRAWL_API_URL
环境变量为自托管实例的端点。 - 如何处理速率限制? 服务内置自动重试和指数退避机制。
使用教程
使用依赖
确保已安装 Node.js 和 npm。
安装教程
通过 npx 运行
bash
env FIRECRAWL_API_KEY=fc-YOUR_API_KEY npx -y firecrawl-mcp
手动安装
bash
npm install -g firecrawl-mcp
在 Cursor 中运行
- 打开 Cursor 设置
- 转到 Features > MCP Servers
- 添加新的 MCP Server
- 输入名称和命令
在 Windsurf 中运行
在 ./codeium/windsurf/model_config.json
中添加配置。
调试方式
运行服务后,可以通过日志查看操作状态和错误信息。
bash
npx -y firecrawl-mcp
检查日志输出以确认服务正常运行。