基本能力
产品定位
mcp-server-requests 是一个为 LLMs 提供 HTTP 请求能力的 MCP 服务器,主要用于获取和处理网页内容。
核心功能
- 支持将网页内容转换为 Markdown 格式
- 支持过滤掉对 LLMs 无用的内容
- 支持自定义 User-Agent 头部
- 支持随机 User-Agent 头部
- 支持在 HTTP 请求中使用自定义请求头部
- 支持完整的 HTTP 方法(GET、POST、PUT、DELETE、PATCH)
- LLMs 可以访问完整的 HTTP 响应头信息
适用场景
- LLMs 需要获取和处理网页内容
- 需要将网页内容转换为 Markdown 格式
- 需要过滤掉对 LLMs 无用的内容
- 需要自定义或随机 User-Agent 头部
工具列表
- fetch - 获取网页内容
- 参数:
- url(必需):目标 URL
- return_content(可选):返回内容类型('raw', 'basic_clean', 'strict_clean', 'markdown')
- http_get - 执行 HTTP GET 请求
- 参数:
- url(必需):目标 URL
- query(可选):查询参数键值对
- headers(可选):自定义请求头部
- http_post - 执行 HTTP POST 请求
- 参数:
- url(必需):目标 URL
- query(可选):查询参数键值对
- headers(可选):自定义请求头部
- data(可选):请求体数据(文本)
- json(可选):请求体数据(JSON)
- http_put - 执行 HTTP PUT 请求
- 参数:同 http_post
- http_patch - 执行 HTTP PATCH 请求
- 参数:同 http_post
- http_delete - 执行 HTTP DELETE 请求
- 参数:同 http_post
使用教程
使用依赖
无特殊依赖,只需安装 Python 和 pip。
安装教程
bash
git clone https://github.com/coucya/mcp-server-requests.git
cd mcp-server-requests
pip install .
调试方式
启动 MCP 服务器:
bash
python -m mcp_server_requests
选项
--user-agent TEXT
:指定自定义 User-Agent 字符串--random-user-agent [browser=xxx;os=xxx]
:使用随机生成的 User-Agent--force-user-agent
:强制使用命令行指定的 User-Agent,忽略 LLM 提供的 UA--list-os-and-browser
:列出可用于随机 User-Agent 生成的浏览器和操作系统
选项详情
--user-agent
和--random-user-agent
互斥,不能同时使用- User-Agent 设置方法:
- 自定义字符串:
--user-agent "Mozilla/5.0 (...)"
- 完全随机:
--random-user-agent
-
条件随机生成:
- 指定浏览器类型:
--random-user-agent browser=chrome
- 指定操作系统:
--random-user-agent os=windows
- 同时指定浏览器和操作系统:
--random-user-agent browser=chrome;os=windows
- 注意:浏览器和操作系统参数不区分大小写
- 指定浏览器类型:
-
使用
--list-os-and-browser
查看可用于--random-user-agent
的浏览器和操作系统。 -
--force-user-agent
控制 User-Agent 优先级: - 启用时:优先使用命令行指定的 User-Agent(通过
--user-agent
或--random-user-agent
),忽略 LLM 提供的 UA - 禁用时:
- 如果 LLM 提供 User-Agent,则使用该 UA
- 否则使用命令行指定的 User-Agent
常见问题解答
无