基本能力
产品定位
Oxylabs MCP Server 是一个桥梁，连接 AI 模型和网页数据，提供强大的网页抓取和数据处理能力。
核心功能
- 从任何网站抓取内容
- 支持从任何 URL 提取数据，包括复杂的单页应用
- 使用无头浏览器支持完全渲染动态网站
- 可选择全 JavaScript 渲染、仅 HTML 或无渲染
-
模拟移动和桌面视口以实现真实渲染
-
自动获取 AI 就绪数据
- 自动清理并将 HTML 转换为 Markdown 以提高可读性
-
使用自动化解析器处理流行目标（如 Google、Amazon 等）
-
绕过封锁和地理限制
- 绕过复杂的机器人保护系统，成功率极高
- 可靠地抓取最复杂的网站
-
使用覆盖 195+ 国家的代理池自动轮换 IP
-
灵活设置和跨平台支持
- 根据需要设置渲染和解析选项
- 将数据直接输入 AI 模型或分析工具
-
支持 macOS、Windows 和 Linux
-
内置错误处理和请求管理
- 全面的错误处理和报告
- 智能速率限制和请求管理
适用场景
- AI 助手需要实时获取网页数据
- 需要绕过反爬虫措施或地理限制的网页抓取
- 动态渲染的网页数据提取
- 结构化数据提取和转换
工具列表
- oxylabs_scraper：使用 Oxylabs Web Scraper API 进行通用网站抓取
- oxylabs_web_unblocker：使用 Oxylabs Web Unblocker 访问难以访问的网站
常见问题解答
- 使用 MCP Inspector 时可能会遇到 Python SDK 的问题，目前使用了一个临时修复的分支版本。
使用教程
使用依赖
- Oxylabs 账户：从 Oxylabs 获取用户名和密码（提供 1 周免费试用）
- Node.js (v16+) 和
npx命令行工具（通过 Smithery CLI 安装） - uv 包管理器（通过 uv 安装）
- Python 3.12+（本地/开发设置）
安装教程
通过 Smithery 安装
bash
npx -y @smithery/cli install @oxylabs/oxylabs-mcp --client claude
使用 uv 在 Claude Desktop 中安装
编辑 claude_desktop_config.json 文件如下：
json
{
"mcpServers": {
"oxylabs_scraper": {
"command": "uvx",
"args": ["oxylabs-mcp"],
"env": {
"OXYLABS_USERNAME": "YOUR_USERNAME_HERE",
"OXYLABS_PASSWORD": "YOUR_PASSWORD_HERE"
}
}
}
}
本地/开发设置
- 克隆仓库
bash
git clone <git:url> - 安装依赖
```bash
cd mcp-server-oxylabs
uv venv
source .venv/bin/activate # MacOS/Linux
OR
.venv/Scripts/activate # Windows
uv sync
3. 设置 Claude Desktopjson
编辑 `claude_desktop_config.json` 文件如下：
{
"mcpServers": {
"oxylabs_scraper": {
"command": "uv",
"args": [
"--directory",
"/
"run",
"oxylabs-mcp"
],
"env": {
"OXYLABS_USERNAME": "YOUR_USERNAME_HERE",
"OXYLABS_PASSWORD": "YOUR_PASSWORD_HERE"
}
}
}
}
```
调试方式
bash
make run
然后访问 MCP Inspector 在 http://localhost:5173。可能需要添加用户名和密码作为环境变量。
