【纯白嫖】用Spark构建图书推荐系统:从点击数据到个性化推荐的完整实践
【纯白嫖】用Spark构建图书推荐系统:从点击数据到个性化推荐的完整实践
这是一个开源的 Spark 图书推荐系统项目(基于Spark的图书推荐系统)。它把读者在网页上的点击行为收集成行为数据,用 Spark MLlib 的协同过滤(ALS 矩阵分解)离线训练出推荐模型,再回到书店的"为你推荐"页面,给每位读者推送个性化的书单。如果你刚接触推荐系统、想跑通一条"行为数据 → 模型训练 → 在线推荐"的完整链路,或者需要给图书网站加上推荐功能,这个项目适合作为入门样本。
这个场景为什么难
想象一个几千本书的线上书店:
- 书太多,用户挑花眼。首页堆 24 本书,热门书永远排前面,冷门好书永远没人看到。
- 传统方式千人一面。"畅销榜""编辑推荐"对所有人展示同样的结果,而两个读者喜欢的书往往完全不同。
- 行为数据散落各处。谁点过哪本书、点了几次,这些数据分散在一次次的页面访问里,不收集、不聚合,就无法利用。
- 规模上来了,单机算不动。点击量增长后,按"用户 × 图书"统计行为、做模型训练,单机脚本会越来越慢,需要分布式计算来分担。
个性化推荐要解决的,就是把"分散的行为数据"变成"每个人的书单"。数据量越大,越需要 Spark 这类分布式计算框架。
项目如何解决问题
整个项目是一条清晰的链路:问题 → 数据 → 模型 → 推荐结果。
1. 行为采集(问题变数据)
读者登录后打开任意图书详情页,Django 后端(book/views.py 中的 detail 视图)会做两件事:在本地 hits 表里累加一次点击,同时把一条 用户ID\t图书ID\t1 的记录追加写入 HDFS 上的 /book/zyhits.txt。用户行为第一次变得"可训练"。
2. 模型训练(数据变模型)
recommend/train.py 用 PySpark 读取 HDFS 上的点击文件(默认 hdfs://mycluster/book/book_click.txt,制表符分隔),按"用户 + 图书"聚合出总点击次数,然后调用 MLlib 的 ALS.trainImplicit——这是协同过滤中的隐式反馈矩阵分解算法:把"用户 × 图书"的点击矩阵分解成两个低维隐因子矩阵,用 10 个隐因子、10 次迭代、0.01 的正则系数,让模型学会"哪些用户和哪些书在风格上是相似的"。训练完的模型保存到 file:///root/recommendModel_1。
3. 推荐生成(模型变结果)
recommend/recommend.py 加载已保存的模型,对指定用户调用 recommendProducts(userid, N),取出 N 本最可能被喜欢的书,结果写入 Redis。
4. 推荐展示(结果回到用户)
读者访问 /recommend/ 页面时,前端触发一次推荐生成,再从 Redis 读出该用户的书单并渲染成图书卡片。如果模型还没有该用户的结果,页面会退化为按评分取前 12 本热门书,保证页面始终有内容。
对读者的价值很直接:看到的不再是全站畅销榜,而是基于自己点击习惯生成的个性化书单;对开发者而言,这是一条可以照着自己数据改造的完整参考链路。
技术组成与各自职责
| 组件 | 负责什么 |
|---|---|
Django(book/、utils/ 应用) |
Web 页面:首页书单、图书详情、注册登录、CSV 数据导入 |
SQLite(db.sqlite3) |
存储用户账户、图书元数据(书名/评分/价格/出版社/封面)、点击统计表 |
| HDFS | 存储行为日志文件 /book/zyhits.txt,作为训练数据源 |
Spark + PySpark(findspark 定位本地 Spark) |
分布式读取点击数据、聚合统计、离线训练推荐模型 |
MLlib ALS(trainImplicit) |
协同过滤的隐式反馈矩阵分解,产出"用户-图书"隐因子模型 |
| Redis | 缓存每位用户的推荐结果,供前端页面快速读取 |
说明一点:README 中还提到 S3、Flask、MySQL/MongoDB 等可选方案,但当前代码实际采用的是 HDFS + Django + SQLite + Redis 这套组合,上手时以解压后的源码为准。
三步跑起来
第一步:准备环境
git clone https://gitcode.com/open-source-toolkit/9aaf1
# 进入目录,解压项目源码包
7z x Book_SystemZhangYue2.0.7z
然后安装 Python 依赖:django、findspark、pyspark、redis、hdfs(WebHDFS 客户端),并本机装好 Spark。
第二步:准备数据
- 图书数据:包内自带示例数据
uploads/GoodBooks.csv(序号、书名、评分、价格、出版社、url 六列)。启动站点后访问/updata/上传页面导入,即可在首页看到图书列表。 - 点击数据:制表符分隔的三列(用户ID、图书ID、点击次数)。注意
train.py默认读取hdfs://mycluster/book/book_click.txt,Redis 和 HDFS 节点地址(192.168.10.10、node2:9870)也是写死的示例地址,运行前需要改成你自己的集群配置。
第三步:运行与验证
# 1. 启动网站,浏览几本图书详情页,产生真实点击数据
python manage.py migrate
python manage.py runserver
# 2. 训练推荐模型(输出模型保存到 file:///root/recommendModel_1)
python recommend/train.py
# 3. 为指定用户生成推荐,结果写入 Redis
python recommend/recommend.py
# 4. 登录网站,访问 /recommend/ 查看个性化书单
如果某一步报"推荐失败",多半是模型路径、Redis 地址没对上,先核对这三处配置再重跑。
如何评估推荐效果
模型训出来不等于推得准,需要两套判断方式:
- 离线指标:留出近期一部分点击记录当"答案",看模型给出的 top-N 书单能否命中这些书,用准确率(Precision)和召回率(Recall)衡量。代码未内置评估脚本,可按此思路自行补充。
- 在线指标:上线后做 A/B 对比——有推荐组 vs 无推荐组的页面点击率、推荐页图书的详情页访问转化率,能直观看出推荐是否真的改变了读者行为。
推荐系统不是"一次训练、永久有效"。读者的每次点击、评分都会继续写进 HDFS 的行为文件,周期性重跑 train.py 重训模型、覆盖旧的模型文件,推荐结果就会随阅读习惯的演进而更新——这个反馈闭环正是推荐效果持续变好的关键。
文档、贡献与许可
- 文档:README 中提到详细技术文档位于
docs目录;当前仓库内未包含该目录,具体细节请以 README.md 和解压后的源码注释为准。 - 贡献:欢迎提交 issue、bug 报告或代码贡献(例如补充评估脚本、替换存储组件),共同完善项目。
- 许可证:MIT 协议(见 LICENSE),可自由使用、修改和分享,保留版权声明即可。
如果你手里有自己的图书点击或评分数据,不妨照 train.py 的格式把它整理成"用户ID、图书ID、行为次数"三列,训练出属于你自己书库的推荐模型——这个项目已经为这条路径搭好了骨架。