PredictionIO 推荐引擎 Data Preparator 定制:从硬编码黑名单过滤到 engine.json 参数化

原创2026-09-22 09:46:351,721 阅读
文章标签:机器学习后端大数据

PredictionIO 推荐引擎 Data Preparator 定制:从硬编码黑名单过滤到 engine.json 参数化

PredictionIO 的 DASE 架构中,Data Preparator 是训练前数据预处理的关键环节,负责把 Data Source 读取的原始事件数据转换为可供 ALS 算法训练的数据形态。本文以 Apache PredictionIO 官方推荐模板 MyRecommendation 为基线,完整演示如何为 Data Preparator 增加"从训练数据中剔除黑名单商品"的过滤逻辑:先实现硬编码文件路径的版本,再升级为通过 engine.json 注入 filepath 参数的工程化版本。读完本文,你将掌握 PPreparator 的继承与 prepare 方法覆写、Params 参数类的定义与注入、以及 pio build / pio train / pio deploy 全流程部署与查询验证的方法。

Data Preparator 在 DASE 架构中的位置

PredictionIO 的引擎遵循 DASE(DataSource、Algorithm、Serving、Evaluator)架构。以推荐模板为例,数据依次流经两个处理组件:

  1. Data Source:从 Event Server 的数据存储中读取用户行为事件,例如 rate(评分)与 buy(购买)事件,转换成 RDD[Rating];
  2. Data Preparator:对 TrainingData 做预处理,产出供 ALS 算法训练使用的 PreparedData。

在 examples/scala-parallel-recommendation/customize-data-prep 示例中,DataSource.scala 通过 PEventStore.find 读取 appName 指定应用下的 rate/buy 事件,并映射为 Rating(user, item, rating) 三元组;buy 事件被映射为固定评分 4.0。紧接着,Preparator 对这一批评分做预处理,产出 PreparedData,最终交给 ALS 算法训练模型。

Data Preparator 的典型应用场景包括:

  • 剔除过于热门的商品(热门商品往往无法反映个体偏好);
  • 根据业务规则维护商品黑名单,在喂给算法之前移除;
  • 对评分做归一化、抽样、去重等统计性操作。

阅读模板源码:Preparator 的原始形态

在 MyRecommendation 目录中,Preparator 组件位于 src/main/scala/Preparator.scala,未修改的版本如下:

class Preparator
  extends PPreparator[TrainingData, PreparedData] {

  def prepare(sc: SparkContext, trainingData: TrainingData): PreparedData = {
    new PreparedData(ratings = trainingData.ratings)
  }
}

prepare 方法接收两个参数:Spark 上下文 sc 与 Data Source 产出的 TrainingData,其内部只是把 trainingData.ratings 原样传给 PreparedData,不做任何加工。PPreparator 的基类定义位于 core/src/main/scala/org/apache/predictionio/controller/PPreparator.scala:它是一个抽象类,要求子类实现 def prepare(sc: SparkContext, trainingData: TD): PD;从源码注释可以看到,并行 Preparator 可以在集群上并行运行并产出分布式数据。因此,所有自定义预处理逻辑都应该写在这个 prepare 方法里。

提示:如果 TrainingData 为空,prepare 仍会被调用,但后续 ALS 训练会因空数据而失败。示例中的 ALSAlgorithm.scala 使用 require(!data.ratings.take(1).isEmpty, ...) 显式断言 PreparedData 非空,这也是排查"训练数据为空"问题的关键检查点。

第一步:在 prepare 中实现黑名单过滤

假设我们维护了一个黑名单文件 ./data/sample_not_train_data.txt,其中每行是一个需要从训练数据中排除的商品 ID。修改后的 Preparator.scala 如下:

import scala.io.Source // ADDED

class Preparator
  extends PPreparator[TrainingData, PreparedData] {

  def prepare(sc: SparkContext, trainingData: TrainingData): PreparedData = {
    // MODIFIED HERE
    val noTrainItems = Source.fromFile("./data/sample_not_train_data.txt")
      .getLines.toSet
    // exclude noTrainItems from original trainingData
    val ratings = trainingData.ratings.filter( r =>
      !noTrainItems.contains(r.item)
    )
    new PreparedData(ratings)
  }
}

这段代码的核心逻辑:

  • Source.fromFile("./data/sample_not_train_data.txt").getLines.toSet 把文件中的每一行读取为 Set[String],即黑名单商品 ID 集合;
  • trainingData.ratings.filter(r => !noTrainItems.contains(r.item)) 利用 Spark RDD 的 filter 变换,只保留不在黑名单中的评分记录;
  • 过滤后的 RDD 仍为分布式的 RDD[Rating],直接包装进 PreparedData,交给 ALS 算法。

在示例仓库中,黑名单文件 data/sample_not_train_data.txt 内容为 8 个商品 ID:3、4、10、22、34、54、65、89。过滤在 Spark 层面以惰性变换(lazy transformation)执行,实际计算发生在后续训练触发 action 时,因此不会产生额外的性能负担。

注意:r.item 的类型是 String(见 DataSource.scala 中 Rating 的定义),所以黑名单文件的每行必须与事件数据中的 item ID 精确一致,否则过滤不会生效。

部署修改后的引擎

确认 engine.json 中的 appName

修改完源码后,需要确认 engine.json 中 datasource.params.appName 与 Event Server 中创建的应用名一致:

"datasource": {
  "params" : {
    "appName": "MyApp1"
  }
},

appName 决定了 Data Source 从哪个应用的事件流中读取数据。在示例的 engine.json 中默认值为 "MyApp1",请替换为你自己的应用名(可通过 pio app list 查看已创建的应用)。

构建、训练与部署

在 MyRecommendation 目录下依次执行:

$ pio build
$ pio train
$ pio deploy
  • pio build:编译引擎代码并打包,产出可供运行的引擎;
  • pio train:读取训练数据、执行 Data Source → Preparator → Algorithm 流水线,训练并保存模型;
  • pio deploy:加载训练好的模型,在 http://localhost:8000 启动引擎服务。

部署完成后,可以在浏览器访问 http://localhost:8000 查看引擎状态。

发送查询验证效果

向已部署的引擎发送 JSON 查询 { "user": "1", "num": 4 },请求为用户 ID 为 1 的用户推荐 4 部电影:

$ curl -H "Content-Type: application/json" -d '{ "user": "1", "num": 4 }' http://localhost:8000/queries.json

引擎返回按评分降序排列的推荐结果:

{
  "itemScores": [
    {"item": "22", "score": 4.072304374729956},
    {"item": "62", "score": 4.058482414005789},
    {"item": "75", "score": 4.046063009943821},
    {"item": "68", "score": 3.8153661512945325}
  ]
}

其中 itemScores 数组中的每个元素包含 item(商品 ID)与 score(预测评分)。注意:示例返回结果中出现了 "22",这是因为上面展示的是未启用过滤时的基线输出;一旦黑名单(包含 22)生效,22 将不再出现在推荐结果中——这正是验证过滤逻辑是否生效的最直观方法。查询的解析与推荐逻辑可以在 ALSAlgorithm.scala 的 predict 方法中看到:它先通过 userStringIntMap 将用户 ID 映射为整数索引,再调用 model.recommendProducts(userInt, query.num) 取 Top-N 商品,最后把整数索引逆映射回字符串商品 ID 返回。

第二步:用 Params 参数化黑名单路径

硬编码 ./data/sample_not_train_data.txt 意味着每次更换黑名单文件都要重新编译代码。PredictionIO 提供了组件参数(Params)机制:自定义参数类继承 org.apache.predictionio.controller.Params,引擎框架会在运行时从 engine.json 读取对应配置并注入到组件构造器中。

定义 CustomPreparatorParams

再次修改 src/main/scala/Preparator.scala:

import org.apache.predictionio.controller.Params // ADDED

// ADDED CustomPreparatorParams case class
case class CustomPreparatorParams(
  filepath: String
) extends Params

class Preparator(pp: CustomPreparatorParams) // ADDED CustomPreparatorParams
  extends PPreparator[TrainingData, PreparedData] {

  def prepare(sc: SparkContext, trainingData: TrainingData): PreparedData = {
    val noTrainItems = Source.fromFile(pp.filepath).getLines.toSet // CHANGED
    val ratings = trainingData.ratings.filter( r =>
      !noTrainItems.contains(r.item)
    )
    new PreparedData(ratings)
  }
}

关键改动:

  • 新增 CustomPreparatorParams(filepath: String) extends Params,声明一个名为 filepath 的字符串参数;
  • Preparator 的构造函数改为接收 CustomPreparatorParams,在 prepare 内部通过 pp.filepath 读取路径;
  • 在示例的最终版本 Preparator.scala 中,PreparedData 还实现了 Serializable,保证预处理结果可以在集群节点间传输。

从框架层面看,PPreparator 继承自 BasePreparator(见 PPreparator.scala),prepareBase 内部调用子类实现的 prepare。引擎工厂在装配组件时(见 Engine.scala 的 RecommendationEngine.apply),会读取 engine.json 中 preparator.params 配置并通过反射构造 Preparator 实例,从而完成参数注入。

在 engine.json 中配置参数

在 engine.json 中为 Data Preparator 定义 filepath:

{
  ...
  "preparator": {
    "params": {
      "filepath": "./data/sample_not_train_data.txt"
    }
  },
  ...
}

示例仓库中的 engine.json 正是这样配置的:preparator.params.filepath 指向 ./data/sample_not_train_data.txt。filepath 是相对路径时,以运行 pio train 时的工作目录为基准解析,因此请确保路径相对于你执行命令的目录正确。

重新构建并验证参数生效

修改完成后再次执行:

$ pio build
$ pio train
$ pio deploy

参数化的收益在于:此后更换黑名单文件时,只需修改 engine.json 中的 filepath 值并重新 pio deploy,无需重新编译代码。注意训练与部署的联动关系——由于黑名单直接影响训练数据,更换 filepath 后应重新执行 pio train(训练阶段会重新读取黑名单文件并过滤),再 pio deploy 使新模型生效。

端到端示例与配套脚本

本教程对应的完整可运行示例位于 examples/scala-parallel-recommendation/customize-data-prep,包含:

文件 作用
src/main/scala/Preparator.scala 自定义 Data Preparator:黑名单过滤 + 参数化
src/main/scala/DataSource.scala Data Source:读取 rate/buy 事件生成 Rating
src/main/scala/ALSAlgorithm.scala ALS 算法:训练与 Top-N 推荐
src/main/scala/Engine.scala 引擎工厂:装配 DASE 各组件
src/main/scala/Serving.scala Serving 组件:返回首个预测结果
data/sample_not_train_data.txt 黑名单商品 ID 列表
data/import_eventserver.py 向 Event Server 导入示例数据
data/send_query.py 向引擎发送查询(用户 1,推荐 4 个商品)
engine.json 引擎配置:appName、preparator 参数、ALS 超参

配套脚本可以直接辅助验证:

  • 数据导入:python data/import_eventserver.py --access_key <你的访问密钥> 会把 rate/buy 事件写入 http://localhost:7070 的 Event Server(示例脚本会随机将一半事件写成 buy,另一半写成带 rating 属性的 rate);
  • 发送查询:python data/send_query.py 等价于上面的 curl 命令,向 http://localhost:8000 发送 {"user": "1", "num": 4} 查询。

另外,engine.json 中 algorithms 段的 rank、numIterations、lambda、seed 是 ALS 算法的超参数(见 ALSAlgorithm.scala 中 als.setRank/als.setIterations/als.setLambda/als.setSeed 的调用),同样可以在不修改代码的情况下通过配置调整。

小结

通过本教程,你完成了两轮 Data Preparator 定制:

  1. 功能定制:覆写 PPreparator.prepare 方法,用 RDD.filter 从训练数据中剔除黑名单商品,实现"冷启动防护/热门商品降权"等业务规则;
  2. 工程化升级:定义继承 Params 的 CustomPreparatorParams 参数类,将黑名单文件路径下沉到 engine.json 的 preparator.params.filepath,实现配置与代码解耦。

这两步覆盖了 PredictionIO 引擎定制中最核心的"组件覆写 + 参数注入"模式。同样的手法可以迁移到 Data Source(例如过滤事件类型)、Serving(例如结果重排)等其他 DASE 组件。下一步可以继续阅读同系列文档 Customizing Serving Component,了解如何定制推荐结果的后处理与排序逻辑。

登录后查看全文
predictionio