基本能力
产品定位
mult-fetch-mcp-server 是一个基于 MCP(Model Context Protocol)规范的客户端和服务器实现,用于 AI 助手与外部工具之间的通信。
核心功能
- 实现基于官方 MCP SDK
- 支持标准输入/输出(Stdio)传输
- 多种网页抓取方法(HTML、JSON、文本、Markdown、纯文本转换)
- 智能模式切换:自动在标准请求和浏览器模式之间切换
- 内容大小管理:自动将大内容分割为可管理的块,解决 AI 模型上下文大小限制
- 分块内容检索:能够请求特定的大内容块,同时保持上下文连续性
- 详细的调试日志输出到 stderr
- 双语国际化(英语和中文)
- 模块化设计,便于维护和扩展
- 智能内容提取:基于 Mozilla 的 Readability 库,能够从网页中提取有意义的内容,同时过滤广告和导航元素
- 元数据支持:能够提取网页元数据,如标题、作者、发布日期和站点信息
- 智能内容检测:自动检测页面是否包含有意义的内容,过滤登录页面、错误页面和其他没有实质性内容的页面
- 浏览器自动化增强:支持页面滚动、Cookie 管理、选择器等待和其他高级浏览器交互
适用场景
- AI 助手需要从网页中提取和处理内容
- 需要处理大内容并分块检索的场景
- 需要智能提取网页核心内容的场景
- 需要浏览器自动化交互的场景
工具列表
fetch_html
: 获取网页的 HTML 内容fetch_json
: 获取 JSON 数据fetch_txt
: 获取纯文本内容fetch_markdown
: 获取 Markdown 格式的内容fetch_plaintext
: 获取从 HTML 转换的纯文本内容(去除 HTML 标签)
常见问题解答
- 代理设置:支持通过参数、环境变量或系统代理设置代理
- 调试:通过设置
debug: true
参数启用调试日志 - 语言设置:通过
MCP_LANG
环境变量设置语言(en
或zh
)
使用教程
使用依赖
- Node.js
- pnpm
安装教程
通过 Smithery 安装
bash
npx -y @smithery/cli install @lmcc-dev/mult-fetch-mcp-server --client claude
本地安装
bash
pnpm install
全局安装
bash
pnpm add -g @lmcc-dev/mult-fetch-mcp-server
直接使用 npx
bash
npx @lmcc-dev/mult-fetch-mcp-server
调试方式
运行服务器
```bash
pnpm run server
或
node dist/index.js
如果全局安装,可以直接运行
@lmcc-dev/mult-fetch-mcp-server
或使用 npx
npx @lmcc-dev/mult-fetch-mcp-server
```
命令行客户端测试
```bash
pnpm run client
示例
pnpm run client fetch_html '{"url": "https://example.com", "debug": true}'
```
调试日志
设置 debug: true
参数启用调试日志,日志会输出到 stderr 和 ~/.mult-fetch-mcp-server/debug.log
文件。