【亲测有效】豆瓣电影数据集:40万条影评、9万条影片,推荐系统训练数据一篇讲透

原创2026-11-11 18:27:061,353 阅读
文章标签:数据集网页爬虫

【亲测有效】豆瓣电影数据集:40万条影评、9万条影片,推荐系统训练数据一篇讲透

做推荐系统时最卡脖子的往往不是算法,而是一份字段干净、量级够用的数据迟迟凑不齐。豆瓣电影数据集及爬虫程序把这件事做成了开箱即用:解压一个压缩包,就得到两份 CSV、一个 SQLite 库和一套可二次开发的 Python 爬虫,用来跑推荐系统、做情感分析或练爬虫都够。

一、项目速览

维度 内容
项目定位 开箱即用的豆瓣电影数据集 + 可二次开发的 Python 爬虫
数据规模 comment 表 40 万+ 条影评、movie.csv 约 9 万行、user.csv 约 20 万行
文件格式 user.csv、movie.csv 两份 CSV + douban.db 一个 SQLite 库
技术栈 Python + requests + pandas,SQLite 存储
适用人群 推荐系统 / 情感分析入门者、爬虫学习者

二、它到底能帮你做什么 🎬

两份 CSV 直接投进训练

user.csv 约 20 万行,字段为 评分、用户名、评论时间、用户ID、电影名、类型,评分与电影名齐备,能直接当评分预测或协同过滤的样本;movie.csv 约 9 万行,字段为 类型、主演、地区、导演、特色、评分、电影名,给内容推荐提供特征。

一个 SQLite 库存了完整影评

douban.db 的 comment 表 404,972 行,列为 ID、TIME、MOVIEID、RATING、CONTENT、CREATOR、ADD_TIME;其中 MOVIEID 关联 movie 表,CONTENT 是评论正文、RATING 可当标签,适合直接做长文本情感分析。

爬虫模块可二次开发

douban.py 里的 DoubanSpider 类走豆瓣搜索接口,用随机 User-Agent + 代理 IP + 4~8 秒随机 sleep 做反爬;main() 按「类型 × 地区 × 特色」组合翻页,把抓到的影片追加写回 movie.csv。

三、从零到跑通的最短路径 🚀

  1. 克隆仓库:git clone https://gitcode.com/open-source-toolkit/4ec10
  2. 解压根目录的 数据集压缩包.zip),得到 user.csv、movie.csv、douban.db、douban.py 四个文件。
  3. 读数据验证:pd.read_csv('user.csv') 抽 100 行,或用 sqlite3 查 comment 表确认字段齐全。

四、哪些场景值得投入,哪些先别碰

值得投入:

  • 如果你在做电影推荐,能直接拿 user.csv 的 评分 + 电影名 训练协同过滤,省掉自己抓数据的时间。
  • 如果你要练情感分析,comment 表 40 万+ 行带正文评论,RATING 当标注、CONTENT 当文本,量级刚好。
  • 如果你在学爬虫,douban.py 的 UA 轮换、代理、限速逻辑值得逐行读。

先别碰:

  • 授权范围:README 写明「仅供学习和研究使用,请勿用于商业用途」,落地商用前先核对授权。
  • 爬虫依赖 settings.py(User_Agents、Agent_IP),仓库内并未附带,且高频抓取会触发豆瓣反爬;数据还带 2018 年等历史时间戳,要「最新」数据得自己更新。

五、下一步行动清单

  • [ ] 解压后抽 user.csv 前 100 行,核对 评分、电影名、类型 是否齐全
  • [ ] 打开 douban.db,抽查 comment 表 MOVIEID 与 movie 表的关联率
  • [ ] 跑 douban.py 前,先补齐 settings.py 的 User_Agents 与 Agent_IP,小范围试跑一次

数据已备好,先跑通验证,再谈建模。

登录后查看全文
豆瓣电影数据集及爬虫程序