基本能力
产品定位
Firecrawl MCP Server 是一个专业的网页内容抓取和处理工具,旨在帮助开发者高效地从网页中提取、搜索和处理数据。
核心功能
- 网页抓取:支持从任何网页提取内容,包括移动设备模拟、广告拦截、内容过滤和结构化数据提取。
- 内容搜索:提供智能搜索功能,支持多语言和基于位置的结果。
- 站点爬取:高级爬取功能,包括深度控制、路径过滤和速率限制。
- 站点地图生成:生成站点结构地图,支持子域和链接分析。
- 数据提取:从多个 URL 提取结构化数据,支持批量处理和自定义提取提示。
适用场景
- 数据挖掘和分析
- 内容聚合和监控
- 站点结构分析和优化
- 自动化测试和开发
工具列表
- npm:用于安装和管理依赖。
- Firecrawl API:提供网页抓取和数据处理的核心能力。
- dotenv:用于环境变量管理。
常见问题解答
- 如何获取 API Key:从 Firecrawl 开发者门户获取。
- 如何设置环境变量:支持多种操作系统和开发环境。
- 错误处理:提供详细的错误消息和调试日志。
使用教程
使用依赖
确保已安装 Node.js 和 npm。
安装教程
```bash
全局安装
npm install -g @modelcontextprotocol/mcp-server-firecrawl
本地项目安装
npm install @modelcontextprotocol/mcp-server-firecrawl
```
调试方式
- 设置 API Key:
bash
export FIRECRAWL_API_KEY=your-api-key - 运行服务器:
bash
mcp-server-firecrawl - 使用开发模式:
bash
npm run dev