闲鱼APP数据爬虫全面解析：从环境搭建到数据采集实战

闲鱼APP数据爬虫是一款基于Python和uiautomator2的移动端数据采集工具，支持通过USB连接安卓设备实现闲鱼平台商品信息的自动化抓取，包括标题、价格、图片等关键数据，并支持导出Excel格式结果。本指南将帮助你快速掌握项目使用方法，实现高效、合规的数据采集。

一、项目概览

核心功能

• 关键词定向采集：支持自定义搜索关键词，精准获取目标商品数据
• 自动化滑动加载：模拟人工滑动行为，实现多页数据连续抓取
• 数据可视化输出：自动将采集结果导出为Excel文件，包含商品图片
• 智能反爬策略：内置随机延迟机制，降低被检测风险

技术架构

技术架构示意图

项目采用Python3.6+作为开发语言，核心依赖uiautomator2实现安卓设备控制，通过ADB工具建立电脑与手机的通信桥梁，结合Excel操作库实现数据持久化存储。整体架构轻量化设计，无需复杂配置即可快速上手。

二、核心组件详解

1. 主程序模块（xianyu.py）

作为项目唯一的核心脚本，集成了以下关键功能：

• 设备连接管理：通过u2.connect()建立与安卓设备的通信
• UI元素交互：基于resourceId定位闲鱼APP界面元素，实现搜索、点击等操作
• 数据解析引擎：从界面元素中提取商品标题、价格等结构化信息
• 图片处理机制：自动截取商品图片并保存到本地images目录

关键代码示例：

# 设备连接
d = u2.connect("设备ID")
# 关键词搜索
d(resourceId="com.taobao.idlefish:id/title").click()
d.send_keys(keyword, clear=True)
# 滑动加载
swipe_up()  # 模拟向上滑动动作

2. 辅助工具模块

• 时间工具类（TimeUtil）：提供随机延迟、日期格式化等功能，支持反爬策略实施
• Excel处理模块：实现数据写入与图片嵌入，生成可视化报表
• 设备控制函数：封装滑动、点击、截图等基础操作，简化UI交互逻辑

3. 资源文件说明

• requirements.txt：项目依赖清单，包含uiautomator2、openpyxl等关键库
• example目录：存放项目截图和示例图片，包含运行效果演示
• images目录（自动生成）：临时存储采集过程中的商品截图

三、快速上手指南

1. 环境准备

硬件要求

• 安卓手机（Android 7.0+）：开启USB调试模式
• 电脑：Windows/macOS/Linux系统，安装Python3.6+环境

安装步骤

# 1. 克隆项目代码
git clone https://gitcode.com/gh_mirrors/xia/xianyu_spider

# 2. 进入项目目录
cd xianyu_spider

# 3. 创建虚拟环境
python -m venv venv
source venv/bin/activate  # Linux/macOS
venv\Scripts\activate     # Windows

# 4. 安装依赖包
pip install -r requirements.txt

设备连接

1. 手机开启"开发者选项"和"USB调试"
2. 通过USB数据线连接电脑
3. 验证设备连接状态：

adb devices
# 正常输出示例：
# List of devices attached
# SNU0220A15007866 device

2. 运行流程

配置修改

1. 打开xianyu.py文件，修改设备ID：

# 将"设备ID"替换为实际设备编号
d = u2.connect("SNU0220A15007866")

2. 设置采集参数（文件末尾）：

keyword = '餐饮券'  # 搜索关键词
max_page = 5       # 滑动加载次数（每页约20条数据）

启动采集

python xianyu.py
# 首次运行会在手机上安装辅助应用（小黄车APP）

查看结果

程序运行完成后，在项目根目录生成命名格式为"YYYY-MM-dd结果.xlsx"的Excel文件，包含以下信息：

• 商品标题
• 价格信息
• 商品图片

运行截图： 爬虫运行界面 Excel结果示例

四、高级配置技巧

1. 采集参数优化

• 调整滑动次数：修改max_page参数控制采集数量，建议单次不超过20次
• 修改搜索关键词：在main函数中设置keyword变量，支持中文、英文等任意字符
• 自定义延迟策略：修改TimeUtil.random_sleep()参数调整操作间隔，数值范围(2,5)表示2-5秒随机延迟

2. 反爬策略增强

• 随机用户行为模拟：在xianyu.py中扩展swipe_up()函数，增加滑动距离随机性
• 设备信息伪装：通过d.set_fastinput_ime()切换输入法，模拟真实用户操作
• 异常处理优化：添加try-except块捕获UI元素定位失败异常，提高程序稳定性

3. 调试工具使用

项目集成weditor辅助定位UI元素，方便自定义采集字段：

# 安装weditor
pip install weditor

# 启动调试工具
weditor

weditor调试界面

五、常见问题解决

设备连接问题

错误提示：device显示unauthorized 解决步骤：

1. 手机端撤销USB调试授权
2. 电脑端重启ADB服务：

adb kill-server
adb start-server

3. 重新连接设备并在手机上确认授权

应用启动失败

错误提示：atxagent 下次必须通过adb启动 解决步骤：

adb shell
chmod 775 /data/local/tmp/atx-agent
/data/local/tmp/atx-agent server -d

数据采集不全

可能原因：

• 滑动次数不足：增加max_page参数值
• 元素定位失效：闲鱼APP更新导致UI变化，需使用weditor重新获取resourceId
• 网络延迟：在open_page_by_keyword()函数中增加TimeUtil.sleep(5)延长等待时间

六、免责声明

本项目仅用于学习研究目的，严禁用于任何商业用途或非法数据采集。使用本工具即表示您同意：

• 遵守《网络安全法》及平台用户协议
• 控制采集频率，避免对目标服务器造成负担
• 自行承担因使用本工具产生的法律风险

建议在使用前先通过闲鱼网页版（https://www.goofish.com/）查看并遵守平台规则，合理合法地使用数据采集技术。

---

通过本指南的学习，您已掌握闲鱼APP数据爬虫的核心使用方法。如需扩展功能，可基于xianyu.py进一步开发，例如添加多关键词轮询、定时采集任务或数据库存储功能。如有问题，欢迎查阅项目源码注释或提交issue反馈。