【亲测有效】豆瓣电影数据集:40万条影评、9万条影片,推荐系统训练数据一篇讲透
【亲测有效】豆瓣电影数据集:40万条影评、9万条影片,推荐系统训练数据一篇讲透
做推荐系统时最卡脖子的往往不是算法,而是一份字段干净、量级够用的数据迟迟凑不齐。豆瓣电影数据集及爬虫程序把这件事做成了开箱即用:解压一个压缩包,就得到两份 CSV、一个 SQLite 库和一套可二次开发的 Python 爬虫,用来跑推荐系统、做情感分析或练爬虫都够。
一、项目速览
| 维度 | 内容 |
|---|---|
| 项目定位 | 开箱即用的豆瓣电影数据集 + 可二次开发的 Python 爬虫 |
| 数据规模 | comment 表 40 万+ 条影评、movie.csv 约 9 万行、user.csv 约 20 万行 |
| 文件格式 | user.csv、movie.csv 两份 CSV + douban.db 一个 SQLite 库 |
| 技术栈 | Python + requests + pandas,SQLite 存储 |
| 适用人群 | 推荐系统 / 情感分析入门者、爬虫学习者 |
二、它到底能帮你做什么 🎬
两份 CSV 直接投进训练
user.csv 约 20 万行,字段为 评分、用户名、评论时间、用户ID、电影名、类型,评分与电影名齐备,能直接当评分预测或协同过滤的样本;movie.csv 约 9 万行,字段为 类型、主演、地区、导演、特色、评分、电影名,给内容推荐提供特征。
一个 SQLite 库存了完整影评
douban.db 的 comment 表 404,972 行,列为 ID、TIME、MOVIEID、RATING、CONTENT、CREATOR、ADD_TIME;其中 MOVIEID 关联 movie 表,CONTENT 是评论正文、RATING 可当标签,适合直接做长文本情感分析。
爬虫模块可二次开发
douban.py 里的 DoubanSpider 类走豆瓣搜索接口,用随机 User-Agent + 代理 IP + 4~8 秒随机 sleep 做反爬;main() 按「类型 × 地区 × 特色」组合翻页,把抓到的影片追加写回 movie.csv。
三、从零到跑通的最短路径 🚀
- 克隆仓库:
git clone https://gitcode.com/open-source-toolkit/4ec10 - 解压根目录的 数据集压缩包.zip),得到
user.csv、movie.csv、douban.db、douban.py四个文件。 - 读数据验证:
pd.read_csv('user.csv')抽 100 行,或用 sqlite3 查comment表确认字段齐全。
四、哪些场景值得投入,哪些先别碰
值得投入:
- 如果你在做电影推荐,能直接拿
user.csv的评分+电影名训练协同过滤,省掉自己抓数据的时间。 - 如果你要练情感分析,
comment表 40 万+ 行带正文评论,RATING当标注、CONTENT当文本,量级刚好。 - 如果你在学爬虫,
douban.py的 UA 轮换、代理、限速逻辑值得逐行读。
先别碰:
- 授权范围:README 写明「仅供学习和研究使用,请勿用于商业用途」,落地商用前先核对授权。
- 爬虫依赖
settings.py(User_Agents、Agent_IP),仓库内并未附带,且高频抓取会触发豆瓣反爬;数据还带 2018 年等历史时间戳,要「最新」数据得自己更新。
五、下一步行动清单
- [ ] 解压后抽
user.csv前 100 行,核对评分、电影名、类型是否齐全 - [ ] 打开
douban.db,抽查comment表MOVIEID与movie表的关联率 - [ ] 跑
douban.py前,先补齐settings.py的User_Agents与Agent_IP,小范围试跑一次
数据已备好,先跑通验证,再谈建模。
登录后查看全文