douban-backup 源码深度解析(三):分页爬取与 500 错误逐条降级容错如何实现

原创2026-10-31 19:30:221,384 阅读

douban-backup 源码深度解析(三):分页爬取与 500 错误逐条降级容错如何实现

douban-backup 是一款命令行豆瓣账号备份工具,可把电影、音乐、图书、游戏、剧集五类「想看/在看/看过」标记抓进 SQLite,再导出为 Excel。本文深入源码,拆解它最核心的两块工程细节:分页爬取的驱动逻辑,以及遇到豆瓣服务器 500 错误时"逐条降级"的容错设计。

一、爬取流程总览:从总数到逐页拉取

整个抓取任务由 douban_backup.py 中的 InterestTask 类驱动,流程分三步:

  1. 查总数:get_total() 请求 interests?count=1 接口,只取返回里的 total 字段,作为进度条分母(douban_backup.py#L441-L444)
  2. 遍历 15 个分段:5 种类型 TYPES(movie / music / book / game / drama)× 3 种状态 STATUSES(mark / doing / done),逐段调用 _crawl_segment()(douban_backup.py#L455-L457)
  3. 每页入库:拉回的每条标记立即通过 put_interest() 写入 SQLite,边抓边存,中断不丢数据

💡 分段(segment = 类型 + 状态)是这个工具的"最小抓取单元",后续分页、降级容错都发生在单个分段内部。

二、分页爬取如何实现:start / count 双参数驱动

豆瓣的 interests 接口用偏移量分页:start 表示起始位置,count 表示每页条数。本项目把页大小固定为 PAGE_SIZE = 50(douban_backup.py#L76),URL 模板见 douban_backup.py#L71-L74:

/rexxar/api/v2/user/{uid}/interests?type={type}&status={status}&start={start}&count={count}

分页驱动的核心是一个动态页数的 while 循环(douban_backup.py#L461-L500):

环节 实现方式
起始页数 page_count 先置 1,保证每段至少请求一次
页数修正 第一页返回后,用 math.ceil(total / 50) 重算真实页数
循环条件 while i < page_count,每轮 start = i * 50
进度显示 用 \r 原地刷新「第 x/y 页 | 进度 done/total」

这种"先跑一页、拿到 total 再决定还有几页"的写法,避免了预先请求总页数带来的额外开销,也天然兼容"抓取过程中数据量微调"的情况。

# 每页请求,start 随页码递增
start = i * PAGE_SIZE
url = URL_INTERESTS.format(uid=uid, type=type_, status=status,
                           start=start, count=PAGE_SIZE, ck=self.client.ck)
resp = self.client.request("GET", url, referer=f"https://m.douban.com/mine/{type_}")

三、500 错误怎么处理:逐条降级容错

这是本项目最有意思的设计。豆瓣服务器偶发返回 HTTP 500(通常是某一页中某条脏数据触发的服务端异常)。如果整页重试仍 500,正常程序只能放弃或崩溃,而 douban-backup 选择把一页拆成 50 次单条请求:

if resp.status_code == 500:
    # 服务器 500:退化为逐条抓取
    self._crawl_sliced(uid, version, type_, status, start)

(douban_backup.py#L474-L481)

_crawl_sliced() 的降级策略(douban_backup.py#L502-L522):

  1. 逐条请求:从失败页的 start 位置开始,循环 50 次,每次用 start + j, count=1 只取一条
  2. 跳过坏条:某一条仍返回非 200,直接 continue,不让单条数据毁掉整个备份
  3. 提前收尾:当返回的 total == start + j 时说明已到数据末尾,break 退出
for j in range(PAGE_SIZE):
    url = URL_INTERESTS.format(..., start=start + j, count=1, ...)
    resp = self.client.request("GET", url, ...)
    if resp.status_code != 200:
        continue          # 仍失败的单条:跳过,继续下一条
    ...
    if int(data.get("total", 0)) == start + j:
        break             # 已到段末尾

效果是:最差情况下也只是丢失触发 500 的那一两条记录,其余 48 条照常入库——这正是"逐条降级"的价值所在。注意非 500 的其他错误(如 429)会直接抛异常中断(douban_backup.py#L478-L479),因为那意味着登录态或限流问题,继续抓没有意义。

四、限速与重试:降级之前的第一道防线

降级容错生效之前,客户端有两道"防身"机制:

  • 请求限速:_throttle() 保证相邻两次请求间隔不少于 --interval 秒(默认 1.0s),避免触发豆瓣限流(douban_backup.py#L181-L186)
  • 网络层重试:request() 对网络异常自动重试 retries + 1 = 3 次,每次间隔 1 秒,网络抖动不会直接打断备份(douban_backup.py#L199-L210)
  • 单条入库兜底:即使 JSON 解析成功,put_interest() 写入失败也只用 logger.warning 记录、不中断流程(douban_backup.py#L487-L491)

三道防线层层递进:限速预防 → 重试消化瞬时故障 → 500 时逐条降级 → 单条写库失败降级为告警,最终实现"能救一条是一条"。

五、相关代码位置速查

模块 位置 职责
接口 URL 模板与分页常量 douban_backup.py#L66-L81 PAGE_SIZE、15 个分段定义
请求限速与重试 douban_backup.py#L181-L216 _throttle() / request()
分段主循环 douban_backup.py#L461-L500 _crawl_segment() 分页驱动
500 逐条降级 douban_backup.py#L502-L522 _crawl_sliced()
入库与增量对比 douban_backup.py#L341-L410 put_interest()

⚠️ 提醒:逐条降级意味着失败页的请求量放大 50 倍,遇到 500 时整体耗时会明显增加,属正常现象;如频繁出现 500/429,建议用 --interval 2 放慢节奏。

六、小结

douban-backup 的分页爬取用"偏移量 + 动态页数"的经典模式实现了简洁而稳健的分段遍历;面对豆瓣服务器偶发的 500 错误,它没有选择粗暴重试,而是降级为 count=1 的逐条请求,用请求量换成功率,跳过仍失败的单条,保证备份最大可用。这套"预防(限速)→ 重试(网络层)→ 降级(逐条)→ 兜底(告警不中断)"的容错链路,值得任何做爬虫或数据同步的开发者借鉴。

登录后查看全文
douban-backup