如何高效爬取小红书数据：xhs工具的新手友好指南

2026-02-06 05:54:48作者：蔡怀权

xhs是一款基于小红书Web端的请求封装工具，专为需要高效获取小红书平台公开数据的开发者和数据分析师设计。它提供简洁易用的API接口，支持多种内容爬取场景，让即使没有复杂爬虫开发经验的用户也能轻松上手，快速搭建属于自己的数据采集系统。

📚 基础认知：3步完成环境准备

1. 安装工具（3种方式任选）

💡 新手推荐使用pip安装，简单快捷无需额外配置

# 方式1：PyPI稳定版（推荐）
pip install xhs

# 方式2：源码安装（获取最新功能）
git clone https://gitcode.com/gh_mirrors/xh/xhs
cd xhs && python setup.py install

# 方式3：开发模式（适合二次开发）
pip install -e .[dev]

2. 环境配置检查

⚠️ 请确保你的环境满足以下要求，避免出现兼容性问题

环境要求	版本限制	检测命令
Python	≥ 3.8	`python --version`
pip	≥ 20.0	`pip --version`
网络环境	可访问小红书	`ping www.xiaohongshu.com`

3. 基础目录认知

轻松掌握项目核心结构，3分钟了解关键文件作用：

xhs项目/
├── xhs/           # 核心代码目录（爬虫逻辑实现）
├── example/       # 示例代码库（含多种使用场景）
├── tests/         # 测试文件目录（确保功能稳定性）
├── docs/          # 详细文档说明（含API使用指南）
└── 配置文件区     # 项目环境与打包配置

🔍 核心解析：配置文件全攻略

setup.cfg配置技巧

作用解析：管理项目元数据和打包参数，控制安装行为的核心配置文件

[metadata]
name = xhs                     # 包名称
version = 0.1.0                # 当前版本号
description = 小红书数据爬取工具 # 项目简介

[options]
packages = find:               # 自动发现包结构
python_requires = >=3.8        # Python版本要求

💡 修改建议：如需自定义安装路径，可添加install_scripts = /usr/local/bin指定脚本安装目录

requirements.txt管理指南

作用解析：定义项目依赖关系，确保开发环境一致性的关键文件

# 核心依赖（必选）
requests>=2.25.1               # HTTP请求库
pycryptodome>=3.10.1           # 数据加密处理
pydantic>=1.8.2                # 数据模型验证

# 开发依赖（可选）
pytest>=6.2.5                  # 单元测试框架
sphinx>=4.2.0                  # 文档生成工具

💡 修改建议：生产环境部署时，可使用pip freeze > requirements.txt固化当前环境依赖版本

tox.ini测试配置详解

作用解析：自动化测试配置文件，支持多环境并行测试验证

[tox]
envlist = py38, py39, py310    # 测试Python版本矩阵
skipsdist = true               # 跳过源码打包步骤

[testenv]
deps = -rrequirements.txt      # 依赖文件路径
commands = pytest tests/       # 测试执行命令

⚠️ 注意事项：修改测试配置后，需运行tox -r重建虚拟环境才能生效

🚀 实践指南：轻松掌握使用技巧

3步实现基础爬取

以搜索笔记为例，快速上手核心功能：

# 1. 初始化客户端
from xhs import XhsClient

client = XhsClient(cookie="your_cookie_here")  # 需替换为真实cookie

# 2. 执行搜索请求
try:
    # 搜索关键词"美食推荐"，获取第1页结果
    results = client.search_note(keyword="美食推荐", page=1)
    
    # 3. 处理返回数据
    for note in results['items']:
        print(f"标题: {note['title']}, 作者: {note['user']['nickname']}")
        
except Exception as e:
    print(f"爬取失败: {str(e)}")

⚠️ 注意事项：cookie需要从浏览器登录后获取，且具有时效性，建议定期更新

典型使用场景说明

场景1：热门笔记监控

适用于品牌方跟踪竞品动态，实现代码：

# 监控"口红"品类下的热门笔记
hot_notes = client.get_hot_notes(category="口红", limit=20)
for note in hot_notes:
    print(f"热度:{note['hot_value']} 标题:{note['title']}")

场景2：用户内容分析

帮助创作者了解行业趋势，示例代码：

# 获取指定用户的全部笔记
user_notes = client.get_user_notes(user_id="5f8d6a7b...", page=1, size=10)
for note in user_notes:
    print(f"发布时间:{note['time']}, 点赞数:{note['like_count']}")

常见问题解决

Q1: 频繁请求导致403错误怎么办？

💡 解决方案：实现请求间隔控制

import time

# 添加随机延迟，模拟真人浏览行为
def safe_request(func):
    def wrapper(*args, **kwargs):
        time.sleep(1 + random.random() * 2)  # 1-3秒随机延迟
        return func(*args, **kwargs)
    return wrapper

@safe_request
def crawl_with_delay():
    return client.search_note(keyword="旅行攻略")