外卖订单爬虫：美团、饿了么、百度外卖自动化订单采集方案

项目概述

外卖订单爬虫（Waimai Crawler）是一个专门为餐饮企业设计的自动化订单数据采集工具。该项目主要使用JavaScript开发，支持美团外卖、饿了么和百度外卖三大平台的订单数据自动化抓取，旨在帮助多门店餐饮企业高效收集和分析外卖订单数据。

核心功能特性

多平台订单自动化采集

系统支持同时连接美团外卖、饿了么和百度外卖三大平台，能够自动登录商家后台并抓取指定时间范围内的订单数据。每个平台的订单数据都经过专门的处理和转换。

定时任务自动化执行

通过later.js库实现定时任务调度，系统可以每天在指定时间自动启动，完成订单数据的抓取、处理和发送流程，无需人工干预。

数据转换与Excel导出

抓取的订单数据会被转换成结构化的Excel文件，包含订单号、下单时间、客户信息、商品详情、配送距离、订单金额等关键字段。

邮件自动发送

处理完成的Excel文件会自动通过SMTP邮件服务发送给指定的接收人，实现数据的自动化分发。

验证码智能识别

针对美团和百度外卖需要验证码登录的情况，系统集成了第三方验证码识别服务（聚合数据API），确保登录流程的顺畅进行。

技术架构

主要依赖库

• request: HTTP请求库，用于与外卖平台API交互
• bluebird: Promise库，提供异步流程控制
• log4js: 日志记录
• nodemailer: 邮件发送功能
• moment: 时间处理
• underscore: 工具函数库
• csv-stringify: CSV文件生成

项目结构

waimai-crawler/
├── config/           # 配置文件目录
│   ├── development.json
│   └── production.json
├── lib/              # 核心功能模块
│   ├── baidu_task.js    # 百度外卖任务处理
│   ├── eleme_task.js    # 饿了么任务处理  
│   ├── meituan_task.js  # 美团外卖任务处理
│   ├── fetch_task.js    # 基础抓取任务类
│   ├── logger.js        # 日志模块
│   ├── mail.js          # 邮件发送模块
│   └── util.js          # 工具函数
├── test/              # 测试文件
├── index.js           # 主入口文件
└── package.json       # 项目配置

安装与配置

环境要求

• Node.js运行环境
• 有效的SMTP邮件服务账号
• 聚合数据验证码识别API密钥

快速开始

1. 克隆项目仓库：

git clone https://gitcode.com/gh_mirrors/wa/waimai-crawler
cd waimai-crawler

2. 安装依赖：

npm install

3. 配置生产环境文件： 编辑config/production.json，按照以下格式配置账号信息和邮件服务：

{
  "log": {
    "level": "DEBUG"
  },
  "mail": {
    "from": "[e-mail]",
    "mailTo": "[e-mail]",
    "host": "smtp.xxx.com",
    "port": 25,
    "secure": false,
    "user": "smtp_username",
    "pass": "smtp_password"
  },
  "imgCode": {
    "key": "your_juhe_api_key"
  },
  "account": [
    {
      "name": "美团门店名称",
      "username": "meituan_username",
      "password": "meituan_password",
      "type": "meituan"
    },
    {
      "name": "饿了么门店名称", 
      "username": "eleme_username",
      "password": "eleme_password",
      "type": "eleme"
    },
    {
      "name": "百度门店名称",
      "username": "baidu_username", 
      "password": "baidu_password",
      "type": "baidu"
    }
  ]
}

使用场景

多门店数据汇总

适用于拥有多家外卖门店的餐饮连锁企业，可以统一收集各平台的订单数据，便于进行整体经营分析。

每日经营报表

系统每天自动生成前一天的订单报表，包含详细的订单信息、销售额、配送情况等数据。

客户行为分析

通过分析订单数据，可以了解客户的购买偏好、配送距离分布、订单时段分布等信息。

数据字段说明

系统生成的Excel文件包含以下关键字段：

• 订单号: 平台生成的唯一订单标识
• 下单时间: 客户下单的具体时间
• 姓名: 收货人姓名
• 电话: 收货人联系电话（自动解密隐藏号码）
• 送餐地址: 完整的配送地址
• 订购的产品: 商品名称和数量明细
• 距离: 配送距离（公里）
• 备注: 订单特殊要求
• 原价: 商品原价总额
• 配送费: 配送费用
• 折扣成本: 平台优惠金额
• 实际收入: 商家实际收入金额

安全与稳定性

登录安全

系统采用模拟浏览器登录的方式，使用真实的User-Agent和Cookie管理，确保登录过程的安全性和稳定性。

错误处理

完善的异常处理机制，包括网络超时、验证码识别失败、登录异常等情况的重试和处理。

数据完整性

通过多次请求验证和数据补充机制，确保获取的订单信息完整准确，特别是客户联系电话等敏感信息的完整获取。

该项目为餐饮企业提供了高效的外卖订单数据自动化采集解决方案，大大减少了人工收集数据的工作量，提高了数据分析的效率和准确性。