使用 SQLFlow 训练文本分类模型:IMDB 与中文新闻数据集实战指南
使用 SQLFlow 训练文本分类模型:IMDB 与中文新闻数据集实战指南
本指南完整演示如何使用 SQLFlow 通过标准 SQL 语法训练文本分类模型:先以英文 IMDB 影评数据完成从 TO TRAIN 到 TO PREDICT 的端到端流程,再深入中文头条新闻分类场景(涉及中文分词、词汇表构建与标签重映射等更复杂预处理),并讲解如何通过 EMBEDDING(SEQ_CATEGORY_ID(...)) 特征列与自定义 Keras 子类模型(如 StackedBiLSTMClassifier)扩展文本建模能力。读者学完后可以直接在自己的 MySQL 环境中复现两条完整的文本分类训练与预测流水线,并掌握 SQLFlow 自定义模型与序列特征列的使用规范。
说明:SQLFlow 仍处于快速迭代期,本教程中的步骤可能随版本演进有所调整,以下方案仅在当前版本下保证可用。如需支持 CNN 文本分类等更多自定义模型,可参考正在演进中的 自定义模型设计文档。
一、背景与数据集准备
SQLFlow 的核心能力是把 SQL 语句翻译为 TensorFlow 训练/预测程序并提交到服务器执行,文本分类正是其典型应用之一。本教程覆盖两套数据集:
- IMDB-Movie-Reviews-Dataset:英文影评二分类(正面/负面),文本以英文单词构成,可直接按空格分词;
- chinese-text-classification-dataset:头条中文新闻标题分类(17 个类别),中文句子无法按空格切分,需要额外的分词与词汇表构建步骤。
两者的核心差异在于数据预处理复杂度:英文数据集在 Docker 镜像中已加载好(或使用脚本下载、预处理并写入自有 MySQL);中文数据集则需要手工完成建表、导入、分词、词表生成、定长填充与标签重映射,下面分别展开。
仓库中还内置了这两类数据集的 SQL 样例,可作为理解表结构格式的参考:IMDB 建表与样例数据、中文新闻数据样例(后者展示了 news_title 预处理前为逗号分隔的词 id、预处理后按固定长度填充 0 的形式)。
二、IMDB 英文数据集:训练与预测
1. 数据装载
imdb 数据库已经内置在官方 Docker 镜像中,其表结构为:训练表 imdb.train 含 content(影评文本)与 class(标签,0/1)两列;imdb.test 结构相同。若要在自有 MySQL 上复现,可按仓库中 popularize_imdb.sql 的建表方式自行准备数据——从该文件可以看到,content 列保存的是经过预处理的词 id 序列(逗号分隔的整数),并对不足定长的序列补 0,这正是后续特征列可以直接消费的输入形态。
2. 训练 DNNClassifier
在 Jupyter Notebook(已集成 SQLFlow magic command)中执行:
%%sqlflow
SELECT content, class FROM imdb.train
TO TRAIN DNNClassifier
WITH
model.n_classes = 2,
model.hidden_units = [128, 64]
LABEL class
INTO sqlflow_models.my_text_model_en;
参数说明:
| 参数 | 含义 | 默认值/取值 |
|---|---|---|
model.n_classes |
分类类别数 | 2(二分类) |
model.hidden_units |
各隐藏层神经元数 | 数组,如 [128, 64] |
3. 预测并读取结果
%%sqlflow
SELECT *
FROM imdb.test
TO PREDICT imdb.predict.class
USING sqlflow_models.my_text_model_en;
执行完成后,预测结果即写入表 imdb.predict 的 class 列,可直接用普通 SQL 查询查看。
从实现角度看,上述 SQL 会被 SQLFlow 翻译为调用 runtime.tensorflow 的训练/预测代码,其中 train.batch_size 与 train.epoch 等参数由公共属性字典统一解析(默认分别为 1 与 1,见 go/codegen/tensorflow/codegen.go),并最终注入到训练模板的 train(...) 调用中(见 template_train.go)。
三、使用自定义 Keras 模型训练(StackedBiLSTMClassifier)
内置 DNNClassifier 只能把输入展平成稠密向量,无法建模文本的序列结构。要训练双向 LSTM(BiLSTM)这类序列模型,需要引入自定义 Keras 模型。SQLFlow 采用 Keras 而非常规 Estimator 的原因与取舍可参考 自定义模型设计文档,其核心结论是:只支持 Keras Model 子类化(subclassing)方式——tf.keras.Model 通过 save_weights/load_weights 保存权重而不含拓扑,因此 SQLFlow 侧保存的是"模型类 + 权重",加载时通过重新实例化类来恢复结构。
1. 安装自定义模型仓库
git clone https://github.com/sql-machine-learning/models.git
# 把自定义模型类放入 sqlflow_models/ 目录,并在 sqlflow_models/__init__.py 中补充 import 行
# 在计划运行训练的服务端安装该模型仓库
python setup.py install
一个标准的自定义模型类(子类化 tf.keras.Model)骨架如下,来自设计文档中的 DNNClassifier 示例:
class DNNClassifier(tf.keras.Model):
def __init__(self, feature_columns, hidden_units, n_classes):
super(DNNClassifier, self).__init__()
# 将 feature columns 组合为稠密张量输入层
self.feature_layer = tf.keras.layers.DenseFeatures(feature_columns)
self.hidden_layers = []
for hidden_unit in hidden_units:
self.hidden_layers.append(tf.keras.layers.Dense(hidden_unit))
self.prediction_layer = tf.keras.layers.Dense(n_classes, activation='softmax')
def call(self, inputs):
x = self.feature_layer(inputs)
for hidden_layer in self.hidden_layers:
x = hidden_layer(x)
return self.prediction_layer(x)
2. 修改 SQL 使用自定义模型
只需把 TO TRAIN 后的模型名换成模型类全限定名(包名.类名),并补充模型自定义参数:
%%sqlflow
SELECT content, class
FROM imdb.train limit 100
TO TRAIN sqlflow_models.StackedBiLSTMClassifier
WITH
model.n_classes = 2,
model.stack_units = [64,32],
model.hidden_size = 64,
train.epoch = 10,
train.batch_size = 64
column EMBEDDING(SEQ_CATEGORY_ID(content, 16000), 128, sum)
LABEL class
INTO sqlflow_models.my_custom_model;
这条语句同时引入了文本分类最关键的特征列语法 EMBEDDING(SEQ_CATEGORY_ID(content, 16000), 128, sum),其含义为:
SEQ_CATEGORY_ID(content, 16000):把content列视为序列化类别 id 特征,词汇表大小(bucket size)为 16000——即词 id 取值范围为[0, 16000);EMBEDDING(..., 128, sum):为上述类别特征生成 128 维的 embedding 向量,sum为多条目时的聚合方式(combiner),支持mean、sqrtn、sum。
训练参数 train.epoch、train.batch_size 直接作用于模型编译与 fit 过程;model.stack_units、model.hidden_size 则为自定义模型类的构造参数,由 SQLFlow 在实例化模型时以关键字参数注入(参见 train_keras.py 中对模型参数、optimizer、loss 的解析逻辑)。
3. 序列特征列的实现原理
SEQ_CATEGORY_ID 在 SQLFlow 内部被解析为 IR 层的 SeqCategoryIDColumn,对应 TensorFlow 的 tf.feature_column.sequence_categorical_column_with_identity(见 go/ir/feature_column.go);EMBEDDING 则对应 EmbeddingColumn(见 feature_column.go)。SQLFlow 支持三种 EMBEDDING 写法(见 ir_generator.go):
EMBEDDING(col_name, size):内部先置空类别列,由后续特征推导阶段自动填充CategoryIDColumn;EMBEDDING(SPARSE(...)/DENSE(...), size):基于字段描述直接生成类别 id 列,bucket size 取Shape[0];EMBEDDING(CATEGORY_ID(...), size):显式指定底层类别列。
特征推导阶段(go/ir/derivation.go)会根据列的实际数据推断 MaxID 并据此计算 bucket size:稀疏列用 Shape<a href="https://link.gitcode.com/i/cdd5a1196c0a1d4df08b441bfa2bc7f1" target="_blank">0],稠密列用 MaxID + 1。Python 侧对应的运行时实现见 [column.py(SeqCategoryIDColumn)与 column.py(EmbeddingColumn),编译阶段会将其映射为 TensorFlow 原生 feature column(compile.py);同时注意,SEQ_CATEGORY_ID 与 EMBEDDING 均不支持 XGBoost 模型,编译时会直接报错断言。
四、中文新闻分类:完整预处理与训练流程
中文数据集的处理明显更复杂,核心难点在于中文无法按空格分词。完整流程如下。
1. 下载并放置数据文件
下载 toutiao_cat_data.txt.zip 并解压得到 toutiao_cat_data.txt。将其复制到 MySQL 服务器所在机器的 /var/lib/mysql-files/ 目录——这是因为 MySQL 出于安全策略会阻止从不可信路径导入数据。
2. 创建数据库与表(注意 utf8mb4/utf8 字符集)
%%sqlflow
CREATE DATABASE toutiao;
CREATE TABLE `train` (
`id` bigint(20) NOT NULL,
`class_id` int(3) NOT NULL,
`class_name` varchar(100) NOT NULL,
`news_title` varchar(255) NOT NULL,
`news_keywords` varchar(255) NOT NULL)
ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;
CREATE TABLE `train_processed` (
`id` bigint(20) NOT NULL,
`class_id` int(3) NOT NULL,
`class_name` varchar(100) NOT NULL,
`news_title` TEXT NOT NULL,
`news_keywords` varchar(255) NOT NULL)
ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;
CREATE TABLE `test_processed` (
`id` bigint(20) NOT NULL,
`class_id` int(3) NOT NULL,
`class_name` varchar(100) NOT NULL,
`news_title` TEXT NOT NULL,
`news_keywords` varchar(255) NOT NULL)
ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;
COMMIT;
必须指定 CHARSET=utf8 COLLATE=utf8_unicode_ci,否则中文文本无法正确显示与存储;news_title 在预处理表中使用 TEXT 类型以容纳更长的词 id 序列。
3. 导入原始数据
%%sqlflow
LOAD DATA LOCAL
INFILE '/var/lib/mysql-files/toutiao_cat_data.txt'
INTO TABLE train
CHARACTER SET utf8
FIELDS TERMINATED by '_!_'
LINES TERMINATED by "\n";
原始文件以 _!_ 分隔字段,逐行读取即可完成导入。
4. 生成词表并预处理文本
运行配套 Python 脚本完成三件事:基于语料生成词汇表;把原始中文标题切词并映射为词 id 序列;按定长 92 做 padding(不足补 0,超出截断)。脚本还会把 class_id 从原始的 100~117 重映射为 0~17——这是 SQLFlow 的硬性约束:标签必须从 0 开始连续编号。
仓库 go/sql/testdata/text_cn_sql.go 中保存的预处理前后样例可以直观对照这一过程:原始 news_title 是逗号分隔的词 id(如 1,2,3,4,5,6,7,8,9),预处理后变成定长 92 的序列(如 1,2,3,4,5,6,7,8,9,0,0,...),class_id 相应地从 1 起步递增编号。
5. 划分验证集并从训练集剔除
%%sqlflow
INSERT INTO `test_processed` (`id`, `class_id`, `class_name`, `news_title`, `news_keywords`)
SELECT `id`, `class_id`, `class_name`, `news_title`, `news_keywords` FROM `train_processed`
ORDER BY RAND()
LIMIT 5000;
DELETE FROM `train_processed` WHERE id IN (
SELECT id FROM `test_processed` AS p
)
随机抽取 5000 条作为测试集,并从训练集中删除,避免数据泄漏。
6. 训练与预测
%%sqlflow
SELECT news_title, class_id
FROM toutiao.train_processed
TO TRAIN DNNClassifier
WITH
model.n_classes = 17,
model.hidden_units = [128, 512]
LABEL class_id
INTO sqlflow_models.my_text_model;
%%sqlflow
SELECT *
FROM toutiao.test_processed
TO PREDICT toutiao.predict.class_id
USING sqlflow_models.my_text_model;
预测完成后,从表 toutiao.predict 即可读出每条新闻标题的分类结果。相比 IMDB 案例,这里 model.n_classes = 17 对应重映射后的 17 个新闻类别;特征输入为定长词 id 序列,由 SQLFlow 自动完成特征推导并生成类别/embedding 特征列。
五、常见问题与注意事项
- 标签必须从 0 开始:中文数据集的
class_id原本为100~117,必须重映射为0~17,否则训练会出错; - MySQL 导入权限:
LOAD DATA LOCAL INFILE指向的路径必须在 MySQL 允许的目录(如/var/lib/mysql-files/)内; - 中文必须显式指定字符集:建表时使用
CHARSET=utf8 COLLATE=utf8_unicode_ci,否则中文乱码; - 序列特征列仅限 TensorFlow 模型:
SEQ_CATEGORY_ID、EMBEDDING在 XGBoost 模型下会触发编译断言错误(见 compile.py); - 自定义模型需先安装:模型仓库必须
python setup.py install安装到 SQLFlow 运行训练的服务端,且类名要用全限定名(sqlflow_models.YourAwesomeModel); - 版本敏感性:教程步骤随 SQLFlow 演进可能变化,以当前版本仓库为准。
六、延伸阅读
- 自定义模型设计(Keras 子类化选型与约束):doc/design/customized_model.md
- 特征列语法与推导原理:go/ir/feature_column.go、go/ir/derivation.go
- DENSE/SPARSE 列语法设计:doc/design/numeric_column_clause.md
- 中文新闻样例数据(预处理前后对照):go/sql/testdata/text_cn_sql.go
- IMDB 样例数据:doc/datasets/popularize_imdb.sql