重构外卖数据采集：解放商家双手的自动化订单抓取工具

传统外卖商家面临订单数据分散、人工记录效率低下的困境，尤其在多平台运营时，每天需花费数小时手动整理美团、饿了么等平台订单。waimai-crawler作为轻量化Node.js工具，通过自动化定时抓取技术，将订单采集效率提升10倍，同时支持多平台数据整合与邮件推送，彻底解决商家数据管理难题。

安装部署环境

环境准备与项目获取

确保系统已安装Node.js 14+环境，通过以下命令获取项目源码：

git clone https://gitcode.com/gh_mirrors/wa/waimai-crawler
cd waimai-crawler

🔍 执行node -v确认Node.js版本，低于14.x需先升级环境 💡 建议使用nvm管理Node.js版本，避免权限问题

依赖安装与服务启动

进入项目目录后安装依赖并启动服务：

npm install
# 开发环境
node index.js
# 生产环境
sh pro.sh

🔍 安装失败时检查网络连接，可尝试npm install --registry=https://registry.npm.taobao.org 💡 生产环境建议配合PM2进程管理工具使用，确保服务稳定运行

配置平台参数

账号信息配置

根据运行环境编辑对应配置文件：

• 开发环境：config/development.json
• 生产环境：config/production.json

核心配置示例：

{
  "meituan": {
    "username": "your_meituan_account",
    "password": "your_meituan_password"
  },
  "eleme": {
    "username": "your_eleme_account",
    "password": "your_eleme_password"
  }
}

⚠️ 配置文件需设置权限为600，避免敏感信息泄露 💡 可创建单独的配置文件存放敏感信息，通过环境变量引用

邮件服务配置

在配置文件中添加邮件推送设置：

"mail": {
  "smtpHost": "smtp.example.com",
  "smtpPort": 465,
  "user": "[e-mail]",
  "pass": "smtp_auth_code",
  "to": "[e-mail]"
}

🔍 测试邮件发送可执行node lib/mail.js单独验证 💡 QQ邮箱需开启SMTP服务并使用授权码登录

定制抓取任务

3种定时策略设置

核心调度逻辑位于lib/fetch_task.js，支持多种定时方式：

1. 固定间隔执行：

// 每45分钟执行一次
setInterval(fetchAllOrders, 45 * 60 * 1000);

2. 特定时间点执行：

// 每天10:00和18:00执行
scheduleDailyTask([10, 18], fetchAllOrders);

3. 动态调整频率：

// 高峰期(11-13点)每15分钟，其他时段每小时
setSmartInterval(fetchAllOrders);

💡 频繁抓取可能触发平台反爬机制，建议最低间隔不小于15分钟

5个优化配置项

在配置文件中添加高级设置提升稳定性：

{
  "retryCount": 3,          // 失败重试次数
  "timeout": 30000,         // 请求超时时间(毫秒)
  "proxyEnabled": false,    // 是否启用代理
  "logLevel": "info",       // 日志级别
  "dataFormat": "csv"       // 数据导出格式
}

💡 网络不稳定时建议启用代理并增加重试次数

扩展应用场景

多店铺统一管理

通过配置多账号实现连锁店铺集中管理：

"shops": [
  {
    "name": "旗舰店",
    "platforms": {
      "meituan": {"username": "[e-mail]"}
    }
  },
  {
    "name": "分店",
    "platforms": {
      "eleme": {"username": "[e-mail]"}
    }
  }
]

▸ 集中查看所有店铺订单数据 ▸ 按店铺维度生成销售报表 ▸ 统一配置抓取策略

数据可视化集成

将采集的订单数据导入Excel或BI工具：

1. 配置CSV格式导出："dataFormat": "csv"
2. 设置定时保存路径："exportPath": "./exports"
3. 通过Excel数据透视表分析销售趋势 ▸ 订单量时段分布分析 ▸ 客单价变化曲线 ▸ 菜品销售排行统计

排查运行异常

常见错误处理

├── 登录失败
│   ├── 账号密码错误 → 核对配置文件
│   ├── 验证码拦截 → 手动处理后重启
│   └── IP限制 → 更换网络或启用代理
├── 数据抓取为空
│   ├── 平台维护 → 查看平台公告
│   ├── 无新订单 → 正常现象
│   └── 页面结构变化 → 更新解析规则
└── 邮件发送失败
    ├── SMTP配置错误 → 验证服务器信息
    ├── 端口被封 → 尝试端口25或587
    └── 邮件被拦截 → 检查垃圾邮件箱

⚠️ 百度外卖模块已停止维护，需在代码中注释相关调用 💡 详细错误日志可查看lib/logger.js输出

使用注意事项

▸ 遵守平台服务协议，合理设置抓取频率 ▸ 仅用于采集自身店铺数据，保护用户隐私 ▸ 定期备份配置文件，避免升级丢失设置 ▸ 生产环境建议使用官方API接口

waimai-crawler通过轻量化设计实现外卖订单自动化采集，帮助商家从繁琐的数据整理工作中解放出来，将更多精力投入到业务优化与客户服务中。随着外卖行业数字化转型加速，这款工具将成为商家数据驱动决策的重要助力。