基本能力
产品定位
UseScraper MCP Server 是一个专注于网页内容抓取的服务,旨在帮助用户从网页中提取结构化数据。
核心功能
- 提供
scrape
工具,用于从网页提取内容 - 支持参数:
url
(必填):要抓取的网页 URLformat
(可选):保存内容的格式(text、html、markdown),默认为 markdownadvanced_proxy
(可选):使用高级代理绕过机器人检测,默认为 falseextract_object
(可选):指定要提取的数据对象
适用场景
- 网页内容抓取和分析
- 数据采集和整理
- 自动化测试和监控
工具列表
scrape
:从网页提取内容,支持多种输出格式
常见问题解答
- 调试建议:由于 MCP 服务器通过 stdio 通信,调试可能具有挑战性,推荐使用 MCP Inspector 进行调试
使用教程
使用依赖
- Node.js 环境
安装教程
通过 Smithery 自动安装
bash
npx -y @smithery/cli install usescraper-server --client claude
手动安装
-
克隆仓库:
bash
git clone https://github.com/your-repo/usescraper-server.git
cd usescraper-server -
安装依赖:
bash
npm install -
构建服务器:
bash
npm run build
配置
在 Claude Desktop 配置文件中添加服务器配置(路径因操作系统而异):
json
{
"mcpServers": {
"usescraper-server": {
"command": "node",
"args": ["/path/to/usescraper-server/build/index.js"],
"env": {
"USESCRAPER_API_KEY": "your-api-key-here"
}
}
}
}
调试方式
使用 MCP Inspector 进行调试:
bash
npm run inspector