【纯白嫖】用Spark构建图书推荐系统:从点击数据到个性化推荐的完整实践

原创2026-11-05 17:03:271,852 阅读

【纯白嫖】用Spark构建图书推荐系统:从点击数据到个性化推荐的完整实践

这是一个开源的 Spark 图书推荐系统项目(基于Spark的图书推荐系统)。它把读者在网页上的点击行为收集成行为数据,用 Spark MLlib 的协同过滤(ALS 矩阵分解)离线训练出推荐模型,再回到书店的"为你推荐"页面,给每位读者推送个性化的书单。如果你刚接触推荐系统、想跑通一条"行为数据 → 模型训练 → 在线推荐"的完整链路,或者需要给图书网站加上推荐功能,这个项目适合作为入门样本。

这个场景为什么难

想象一个几千本书的线上书店:

  • 书太多,用户挑花眼。首页堆 24 本书,热门书永远排前面,冷门好书永远没人看到。
  • 传统方式千人一面。"畅销榜""编辑推荐"对所有人展示同样的结果,而两个读者喜欢的书往往完全不同。
  • 行为数据散落各处。谁点过哪本书、点了几次,这些数据分散在一次次的页面访问里,不收集、不聚合,就无法利用。
  • 规模上来了,单机算不动。点击量增长后,按"用户 × 图书"统计行为、做模型训练,单机脚本会越来越慢,需要分布式计算来分担。

个性化推荐要解决的,就是把"分散的行为数据"变成"每个人的书单"。数据量越大,越需要 Spark 这类分布式计算框架。

项目如何解决问题

整个项目是一条清晰的链路:问题 → 数据 → 模型 → 推荐结果。

1. 行为采集(问题变数据) 读者登录后打开任意图书详情页,Django 后端(book/views.py 中的 detail 视图)会做两件事:在本地 hits 表里累加一次点击,同时把一条 用户ID\t图书ID\t1 的记录追加写入 HDFS 上的 /book/zyhits.txt。用户行为第一次变得"可训练"。

2. 模型训练(数据变模型) recommend/train.py 用 PySpark 读取 HDFS 上的点击文件(默认 hdfs://mycluster/book/book_click.txt,制表符分隔),按"用户 + 图书"聚合出总点击次数,然后调用 MLlib 的 ALS.trainImplicit——这是协同过滤中的隐式反馈矩阵分解算法:把"用户 × 图书"的点击矩阵分解成两个低维隐因子矩阵,用 10 个隐因子、10 次迭代、0.01 的正则系数,让模型学会"哪些用户和哪些书在风格上是相似的"。训练完的模型保存到 file:///root/recommendModel_1。

3. 推荐生成(模型变结果) recommend/recommend.py 加载已保存的模型,对指定用户调用 recommendProducts(userid, N),取出 N 本最可能被喜欢的书,结果写入 Redis。

4. 推荐展示(结果回到用户) 读者访问 /recommend/ 页面时,前端触发一次推荐生成,再从 Redis 读出该用户的书单并渲染成图书卡片。如果模型还没有该用户的结果,页面会退化为按评分取前 12 本热门书,保证页面始终有内容。

对读者的价值很直接:看到的不再是全站畅销榜,而是基于自己点击习惯生成的个性化书单;对开发者而言,这是一条可以照着自己数据改造的完整参考链路。

技术组成与各自职责

组件 负责什么
Django(book/、utils/ 应用) Web 页面:首页书单、图书详情、注册登录、CSV 数据导入
SQLite(db.sqlite3) 存储用户账户、图书元数据(书名/评分/价格/出版社/封面)、点击统计表
HDFS 存储行为日志文件 /book/zyhits.txt,作为训练数据源
Spark + PySpark(findspark 定位本地 Spark) 分布式读取点击数据、聚合统计、离线训练推荐模型
MLlib ALS(trainImplicit) 协同过滤的隐式反馈矩阵分解,产出"用户-图书"隐因子模型
Redis 缓存每位用户的推荐结果,供前端页面快速读取

说明一点:README 中还提到 S3、Flask、MySQL/MongoDB 等可选方案,但当前代码实际采用的是 HDFS + Django + SQLite + Redis 这套组合,上手时以解压后的源码为准。

三步跑起来

第一步:准备环境

git clone https://gitcode.com/open-source-toolkit/9aaf1
# 进入目录,解压项目源码包
7z x Book_SystemZhangYue2.0.7z

然后安装 Python 依赖:django、findspark、pyspark、redis、hdfs(WebHDFS 客户端),并本机装好 Spark。

第二步:准备数据

  • 图书数据:包内自带示例数据 uploads/GoodBooks.csv(序号、书名、评分、价格、出版社、url 六列)。启动站点后访问 /updata/ 上传页面导入,即可在首页看到图书列表。
  • 点击数据:制表符分隔的三列(用户ID、图书ID、点击次数)。注意 train.py 默认读取 hdfs://mycluster/book/book_click.txt,Redis 和 HDFS 节点地址(192.168.10.10、node2:9870)也是写死的示例地址,运行前需要改成你自己的集群配置。

第三步:运行与验证

# 1. 启动网站,浏览几本图书详情页,产生真实点击数据
python manage.py migrate
python manage.py runserver

# 2. 训练推荐模型(输出模型保存到 file:///root/recommendModel_1)
python recommend/train.py

# 3. 为指定用户生成推荐,结果写入 Redis
python recommend/recommend.py

# 4. 登录网站,访问 /recommend/ 查看个性化书单

如果某一步报"推荐失败",多半是模型路径、Redis 地址没对上,先核对这三处配置再重跑。

如何评估推荐效果

模型训出来不等于推得准,需要两套判断方式:

  • 离线指标:留出近期一部分点击记录当"答案",看模型给出的 top-N 书单能否命中这些书,用准确率(Precision)和召回率(Recall)衡量。代码未内置评估脚本,可按此思路自行补充。
  • 在线指标:上线后做 A/B 对比——有推荐组 vs 无推荐组的页面点击率、推荐页图书的详情页访问转化率,能直观看出推荐是否真的改变了读者行为。

推荐系统不是"一次训练、永久有效"。读者的每次点击、评分都会继续写进 HDFS 的行为文件,周期性重跑 train.py 重训模型、覆盖旧的模型文件,推荐结果就会随阅读习惯的演进而更新——这个反馈闭环正是推荐效果持续变好的关键。

文档、贡献与许可

  • 文档:README 中提到详细技术文档位于 docs 目录;当前仓库内未包含该目录,具体细节请以 README.md 和解压后的源码注释为准。
  • 贡献:欢迎提交 issue、bug 报告或代码贡献(例如补充评估脚本、替换存储组件),共同完善项目。
  • 许可证:MIT 协议(见 LICENSE),可自由使用、修改和分享,保留版权声明即可。

如果你手里有自己的图书点击或评分数据,不妨照 train.py 的格式把它整理成"用户ID、图书ID、行为次数"三列,训练出属于你自己书库的推荐模型——这个项目已经为这条路径搭好了骨架。

登录后查看全文
基于Spark的图书推荐系统