闲鱼数据采集终极指南：5分钟快速上手安卓自动化爬虫

想要轻松采集闲鱼平台的商品数据？这款基于uiautomator2的闲鱼APP数据爬虫工具，能够帮助你在5分钟内实现自动化数据采集，无需复杂配置即可获得包含标题、价格、图片的完整Excel报表。

🚀 项目核心优势

这款闲鱼数据采集工具具备三大核心优势，让你在数据采集过程中事半功倍：

一键式自动化操作 - 只需设置关键词和滑动次数，程序自动完成搜索、滑动、数据提取全流程

智能反爬虫策略 - 内置随机延迟机制和滑动动作模拟，有效降低被平台检测的风险

可视化数据输出 - 采集结果自动导出为Excel格式，商品图片直接嵌入表格，便于后续分析使用

📋 环境配置与设备连接

基础环境搭建

首先确保你的电脑已安装Python 3.6及以上版本，然后执行以下步骤：

# 克隆项目代码
git clone https://gitcode.com/gh_mirrors/xia/xianyu_spider

# 进入项目目录
cd xianyu_spider

# 安装项目依赖
pip install -r requirements.txt

安卓设备连接配置

连接安卓设备是整个流程的关键步骤：

1. 开启开发者选项 - 在手机设置中连续点击"版本号"7次
2. 启用USB调试 - 在开发者选项中打开USB调试功能
3. 验证设备连接 - 运行adb devices命令确认设备识别成功

设备连接验证

🔧 快速启动采集任务

修改设备配置

打开项目中的xianyu.py文件，找到设备连接代码：

d = u2.connect("SNU0220A15007866")  # 替换为你的设备ID

设置采集参数

在文件末尾的main函数中，你可以自定义采集参数：

keyword = '餐饮券'    # 搜索关键词
max_page = 5        # 滑动加载次数

启动数据采集

在命令行中运行以下命令开始采集：

python xianyu.py

首次运行时，系统会在你的手机上自动安装一个小黄车辅助应用，这是正常现象，请允许安装。

🛠️ 高级功能与调试技巧

使用WEditor调试界面元素

如果需要采集更多商品信息或遇到界面变化，可以使用WEditor工具进行调试：

# 安装调试工具
pip install weditor

# 启动界面调试
weditor

界面调试工具

自定义数据字段

通过WEditor获取界面元素的resourceId后，可以修改get_list_data()函数来采集更多信息：

def get_list_data():
    result = []
    TimeUtil.random_sleep()
    view_list = d.xpath('//android.widget.ScrollView//android.view.View').all()
    
    for el in view_list:
        # 提取商品标题、价格等信息
        # 可在此处添加更多字段的提取逻辑

📊 采集结果展示

程序运行完成后，会在项目目录下生成以当前日期命名的Excel文件，例如"2023-11-22结果.xlsx"，包含以下完整信息：

• 商品标题 - 完整的商品描述信息
• 价格数据 - 精确的商品价格数值
• 商品图片 - 自动截取并嵌入表格的商品截图

采集结果示例

🚨 常见问题解决方案

设备连接失败处理

当出现"device显示unauthorized"错误时，按以下步骤解决：

1. 手机端撤销USB调试授权
2. 电脑端重启ADB服务：

adb kill-server
adb start-server

ATX Agent启动问题

如果遇到"atxagent 下次必须通过adb启动"提示，执行以下命令：

adb shell
chmod 775 /data/local/tmp/atx-agent
/data/local/tmp/atx-agent server -d

⚠️ 重要免责声明

本工具仅限于技术学习和研究目的，严禁将采集数据用于任何商业用途或违法行为。使用者需自行承担因使用本工具而产生的所有法律责任，作者不承担任何相关法律风险。

---

通过本指南，你已经掌握了闲鱼数据采集工具的核心使用方法。现在就可以开始你的数据采集之旅，探索闲鱼平台的丰富商品信息。记得合理使用工具，遵守平台规则，享受技术带来的便利！