详细介绍
Hyperbrowser MCP Server 是一个功能强大的工具,支持网页抓取、结构化数据提取以及多种浏览器自动化任务。它为开发者和用户提供了一种简单易用的方式来处理复杂的网络操作,适用于数据分析、内容生成或自动化测试等场景。
核心功能
Hyperbrowser MCP 服务器提供了一系列核心功能,包括:
- 网页抓取:从任何网页提取结构化内容,包括Markdown格式和截图。
- 网页爬虫:通过链接导航多个页面并提取LLM友好的格式化内容。
- 结构化数据提取:将混乱的HTML转换为结构化的JSON数据。
- Bing搜索集成:通过Bing搜索引擎进行网络查询并获取结果。
- 浏览器自动化:支持OpenAI、Anthropic等模型的浏览器自动化任务。
- 持久化配置:创建、删除和列出持久化Hyperbrowser配置文件。
安装方法
Hyperbrowser MCP 服务器可以通过多种方式进行安装,包括手动安装、在Cursor或Windsurf上运行,以及从源代码进行开发。
手动安装
npx hyperbrowser-mcp 在Cursor上运行
将以下配置添加到 `~/.cursor/mcp.json` 文件中:
{
"mcpServers": {
"hyperbrowser": {
"command": "npx",
"args": ["-y", "hyperbrowser-mcp"],
"env": {
"HYPERBROWSER_API_KEY": "YOUR-API-KEY"
}
}
}
}在Windsurf上运行
将以下配置添加到你的 `./codeium/windsurf/model_config.json` 文件中:
{
"mcpServers": {
"hyperbrowser": {
"command": "npx",
"args": ["-y", "hyperbrowser-mcp"],
"env": {
"HYPERBROWSER_API_KEY": "YOUR-API-KEY"
}
}
}
}开发安装
如果需要从源代码进行开发,可以按照以下步骤操作:
- 克隆仓库:
git clone git@github.com:hyperbrowserai/mcp.git hyperbrowser-mcp
- 安装依赖项:
npm install # 或 yarn install
npm run build
- 运行服务器:
node dist/server.js使用方法
Hyperbrowser MCP 服务器提供了多种命令行接口,用于执行网页抓取、爬虫、数据提取等任务。
配置环境变量
在使用前,需要设置API密钥作为环境变量:
export HYPERBROWSER_API_KEY=your-api-key常用命令
- scrape_webpage:抓取指定URL的内容。
- crawl_webpages:爬取多个链接的网页内容。
使用示例
以下是一些常见的使用示例:
抓取网页内容
scrape_webpage(url='https://example.com')该命令将从指定URL抓取网页内容并返回Markdown格式的内容。
执行网页爬虫
crawl_webpages(start_url='https://example.com')该命令将从起始URL开始爬取多个链接并提取结构化数据。
使用场景
Hyperbrowser MCP 服务器适用于多种场景,包括:
- 需要高效网页抓取和数据提取的场景。
- 需要执行复杂浏览器自动化任务的场景。
- 需要集成到现有系统中进行自动化测试或内容生成的场景。
注意事项
在使用Hyperbrowser MCP 服务器时,需要注意以下几点:
- 可能需要一定的技术背景来设置和使用。
- 某些高级功能可能依赖特定的API密钥。
- 确保API密钥的安全性,避免泄露。
Hyperbrowser MCP 服务器是一个功能强大且灵活的工具,适用于多种自动化和数据处理场景,能够显著提升开发效率和数据处理能力。