如何备份豆瓣的全部观影读书史?douban-backup 工具完整指南
如何备份豆瓣的全部观影读书史?douban-backup 工具完整指南
douban-backup 是一款命令行豆瓣备份工具,可把豆瓣账号中电影 / 音乐 / 图书 / 游戏 / 剧集五类标记(想看 · 在看 · 看过)完整备份下来,并导出为与「豆伴」结构完全一致的 Excel 文件。单文件 Python 脚本,uv run 一条命令直接运行,零配置,还支持增量备份,可放心反复执行。
一、douban-backup 能做什么? 🎯
一个脚本打通「抓取 → 存储 → 导出」全流程:
- 🎬 五类标记全覆盖:电影 / 音乐 / 图书 / 游戏 / 剧集,各含「想看 / 在看 / 看过」三种状态
- 🔐 自动读取浏览器 cookie:支持 Chrome / Edge / Brave / Firefox / Safari,也可手动提供
- 📊 Excel 导出:14 个 sheet、9 列固定表头,与 Chrome 扩展「豆伴」逐字一致
- 🔄 增量备份:仅当状态 / 短评 / 评分 / 标签变化时更新,旧版本自动归档为历史
- ⏱️ 内置限速 + 500 容错:请求间隔可控,单页失败自动退化为逐条抓取
- 🗄️ SQLite 持久化:可反复运行、断点续备
二、三步安装:从克隆到运行 ⚡
第 1 步:安装 uv
uv 会自动安装脚本所需的全部依赖,一条命令即可搞定:
# macOS
brew install uv
# 或任意平台
pip install uv
第 2 步:克隆 douban-backup 仓库
git clone https://gitcode.com/gh_mirrors/dou/douban-backup
cd douban-backup
第 3 步:运行备份
先确保浏览器已登录 douban.com,然后执行:
uv run douban_backup.py
运行完成后会生成 douban_interests.xlsx,原始数据同时存入 douban_backup.db。
💡 不想用 uv?也可以
pip install requests beautifulsoup4 lxml browser_cookie3 openpyxl,然后直接python douban_backup.py。
三、Cookie 配置:关键一步 🔐
Cookie 是工具的「登录凭证」,共有三种获取方式:
| 方式 | 适用场景 | 命令 |
|---|---|---|
| 自动读浏览器(默认) | 本机浏览器已登录豆瓣 | uv run douban_backup.py |
| 指定浏览器 | 机器装了多个浏览器 | uv run douban_backup.py --browser chrome |
| 手动 cookie 串 | 在服务器等无浏览器环境运行 | uv run douban_backup.py --cookie 'ck=xxx; dbcl2="123:abc"; bid=yyy' |
手动获取 cookie 的步骤:浏览器打开 douban.com → 按 F12 → 切到 Network 面板 → 点击任意请求 → 复制请求头里的 Cookie 整串。
⚠️ macOS 首次读取 Chrome cookie 时,系统会弹出钥匙串授权框,点击「始终允许」即可。
四、常用参数速查 🛠️
| 参数 | 说明 |
|---|---|
--user USER |
备份指定用户的数字 ID(默认当前登录账号) |
-o, --output PATH |
导出路径,.xlsx 或 .csv(默认 douban_interests.xlsx) |
--interval SEC |
请求间隔秒数(默认 1.0) |
--no-export |
只备份到数据库,不导出文件 |
--export-only |
仅从已有数据库导出,不再抓取 |
-v, --verbose |
输出调试日志 |
完整参数在 douban_backup.py 中定义。两个实用示例:
# 仅从已备份的数据库重新导出(不访问网络,秒出)
uv run douban_backup.py --export-only -o 我的标记.xlsx
# 放慢请求速度,避免被豆瓣限流
uv run douban_backup.py --interval 2
五、备份结果长什么样? 📊
导出的工作簿包含 14 个 sheet,按「类型 / 状态」拆分并中文命名:
- 电影:看过 / 在看 / 想看
- 音乐:听过 / 在听 / 想听
- 图书:读过 / 在读 / 想读
- 游戏:玩过 / 在玩 / 想玩
- 剧集:看过的舞台剧 / 想看的舞台剧(剧集没有「在看」状态)
每个 sheet 都有 9 列固定表头:标题 / 简介 / 豆瓣评分 / 链接 / 创建时间 / 我的评分 / 标签 / 评论 / 可见性。14 个 sheet 的完整定义见 douban_backup.py,列头定义见 douban_backup.py。
💡 指定
.csv作为输出时,每个有数据的 sheet 会自动导出为一个独立的 CSV 文件。
六、增量备份:放心重复运行 🔄
每次运行都会以时间戳作为版本号。只有当某条目的 状态 / 短评 / 评分 / 标签 发生变化时才会更新,旧版本以版本号为键存入 history 字段;完全相同的重复标记不会产生冗余历史,对比逻辑见 douban_backup.py。
数据存放在本地 SQLite 库 douban_backup.db(表结构见 douban_backup.py),即使中途中断,已抓取的数据也已落盘,下次运行可无缝续备。
建议配合系统的定时任务(cron / 「定时任务」),每周跑一次备份,你的观影读书史就永远不会丢了。
七、常见问题 FAQ ❓
提示「未登录豆瓣」?
Cookie 已过期,重新在浏览器登录 douban.com 后再运行即可。
遇到 429 / 被限流?
调大请求间隔:uv run douban_backup.py --interval 2。
某些数据抓不全? 豆瓣接口对某页返回 500 时,工具会自动退化为逐条抓取(容错逻辑见 douban_backup.py),仍失败的单条会跳过;已被你删除的条目则无法恢复。
备份文件放哪里最安全?
douban_backup.db 和 douban_interests.xlsx 建议都保留,并定期同步到云盘或移动硬盘。
八、合规提醒 ⚖️
- 仅用于备份你自己的或你有权访问的公开数据,请遵守豆瓣使用条款
- 保持合理的请求频率,不要将
--interval调到极小值 - 备份数据属于个人隐私,分享前请注意脱敏
相关项目文件 📁
| 文件 | 说明 |
|---|---|
| douban_backup.py | 主脚本,单文件实现抓取、存储与导出全部逻辑 |
| README.md | 项目说明与完整参数文档 |
| LICENSE | MIT 开源协议 |