Firecrawl MCP Server

Firecrawl MCP Server 是一个基于模型上下文协议（MCP）构建的网页抓取服务器，集成了 Firecrawl 强大的网络爬虫能力。它支持单页抓取、批量抓取、搜索引擎分析、深度研究和内容提取等功能，适用于自动化数据收集、SEO优化和大规模网页分析等场景。

核心功能

Firecrawl MCP Server 提供了多种核心功能，帮助用户高效地进行网页抓取和数据处理。

• 网页抓取：支持对单个网页进行深度抓取，提取主要内容并支持多种格式输出。
• 批量抓取：高效处理多个URL的批量抓取任务，内置智能速率限制机制。
• 搜索引擎分析：通过关键词搜索获取相关网页内容，并可进一步提取关键信息。
• 深度研究：结合智能爬虫和语言模型生成详细的行业研究报告。
• LLMs.txt生成：生成标准化的 llms.txt 文件，定义大语言模型与网站交互规则。

安装方法

Firecrawl MCP Server 的安装过程简单，只需几个步骤即可完成。

npm install firecrawl

安装完成后，需要初始化配置文件：

firecraw init

最后，启动服务：

node app.js

此外，也可以通过环境变量设置 API 密钥并启动服务：

env FIRECRAWL_API_KEY=your_api_key npx -y firecrawl-mcp

使用方法

Firecrawl MCP Server 提供了多种使用方式，包括单页抓取、批量抓取和搜索引擎分析等。

{
  "name": "firecrawl_scrape",
  "arguments": {
    "url": "https://example.com"
  }
}

以下是一个完整的单页抓取示例：

const FireCrawler = require('firecrawl');

async function basicCrawl() {
    try {
        const crawler = new FireCrawler();
        const resp crawler.goto('http://example.com');
        console.log(response.status);
        console.log(response.html);
    } catch (error) {
        console.error('爬取过程中发生错误:', error.message);
    }
}

basicCrawl();

对于批量抓取任务，可以使用以下命令：

{
  "name": "firecrawl_batch_scrape",
  "arguments": {
    "urls": ["https://example1.com", "https://example2.com"]
  }
}

以下是一个批量抓取的代码示例：

const FireCrawler = require('firecrawl');

async function deepCrawl() {
    try {
        const crawler = new FireCrawler();
        await crawler.start({
            startUrls: ['http://example.com/'],
            maxDepth: 5,
            concurrency: 10
        });
        console.log('抓取完成，已获取页面数:', crawler.totalPages);
    } catch (error) {
        console.error('深层爬取过程中发生错误:', error.message);
    }
}

deepCrawl();

使用场景

Firecrawl MCP Server 适用于多种使用场景，包括：

• 自动化网页抓取：适用于需要定期抓取网页内容的场景，如新闻聚合、价格监控等。
• 数据分析：通过抓取和提取数据，支持进一步的数据分析和处理。
• SEO优化：用于分析网站结构、关键词排名和页面内容，优化搜索引擎表现。
• 大规模数据收集：适用于需要从多个网站批量抓取数据的场景。

配置说明

Firecrawl MCP Server 提供了多种配置选项，以满足不同场景的需求。

网络请求配置

{
  "proxy": {
    "enabled": true,
    "host": "127.0.0.1",
    "port": 8080
  },
  "headers": {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.113 Safari/537.3",
    "Accept-Language": "zh-CN,zh;q=0.9"
  },
  "timeout": {
    "connect": 10000,
    "read": 10000
  }
}

数据存储配置

{
  "database": {
    "type": "mysql",
    "host": "localhost",
    "port": 3306,
    "username": "root",
    "password": "password"
  },
  "filesystem": {
    "enabled": true,
    "directory": "/var/www/html/data/",
    "gzip": true
  }
}

日志配置

{
  "log_level": "INFO",
  "log_file": "/var/log/firecrawl.log",
  "console_logging": true,
  "file_logging": true,
  "retention_days": 30
}

注意事项

在使用 Firecrawl MCP Server 时，需要注意以下事项：

• API 密钥：使用云 API 版本需要付费订阅，确保 API 密钥正确配置。
• 复杂网页结构：对于非常复杂的网页结构，可能需要手动调整配置。
• 自托管模式：自托管模式下需要一定的运维经验，确保服务器环境稳定。

Firecrawl MCP Server 是一个功能强大且灵活的网页抓取工具，适用于多种自动化和数据分析场景。通过合理的配置和使用，可以显著提高数据收集和处理的效率。