使用 SQLFlow 训练文本分类模型:IMDB 与中文新闻数据集实战指南

原创2026-10-14 11:52:53596 阅读
文章标签:编译器工作流自动化后端机器学习云原生

使用 SQLFlow 训练文本分类模型:IMDB 与中文新闻数据集实战指南

本指南完整演示如何使用 SQLFlow 通过标准 SQL 语法训练文本分类模型:先以英文 IMDB 影评数据完成从 TO TRAIN 到 TO PREDICT 的端到端流程,再深入中文头条新闻分类场景(涉及中文分词、词汇表构建与标签重映射等更复杂预处理),并讲解如何通过 EMBEDDING(SEQ_CATEGORY_ID(...)) 特征列与自定义 Keras 子类模型(如 StackedBiLSTMClassifier)扩展文本建模能力。读者学完后可以直接在自己的 MySQL 环境中复现两条完整的文本分类训练与预测流水线,并掌握 SQLFlow 自定义模型与序列特征列的使用规范。

说明:SQLFlow 仍处于快速迭代期,本教程中的步骤可能随版本演进有所调整,以下方案仅在当前版本下保证可用。如需支持 CNN 文本分类等更多自定义模型,可参考正在演进中的 自定义模型设计文档。

一、背景与数据集准备

SQLFlow 的核心能力是把 SQL 语句翻译为 TensorFlow 训练/预测程序并提交到服务器执行,文本分类正是其典型应用之一。本教程覆盖两套数据集:

  1. IMDB-Movie-Reviews-Dataset:英文影评二分类(正面/负面),文本以英文单词构成,可直接按空格分词;
  2. chinese-text-classification-dataset:头条中文新闻标题分类(17 个类别),中文句子无法按空格切分,需要额外的分词与词汇表构建步骤。

两者的核心差异在于数据预处理复杂度:英文数据集在 Docker 镜像中已加载好(或使用脚本下载、预处理并写入自有 MySQL);中文数据集则需要手工完成建表、导入、分词、词表生成、定长填充与标签重映射,下面分别展开。

仓库中还内置了这两类数据集的 SQL 样例,可作为理解表结构格式的参考:IMDB 建表与样例数据、中文新闻数据样例(后者展示了 news_title 预处理前为逗号分隔的词 id、预处理后按固定长度填充 0 的形式)。

二、IMDB 英文数据集:训练与预测

1. 数据装载

imdb 数据库已经内置在官方 Docker 镜像中,其表结构为:训练表 imdb.train 含 content(影评文本)与 class(标签,0/1)两列;imdb.test 结构相同。若要在自有 MySQL 上复现,可按仓库中 popularize_imdb.sql 的建表方式自行准备数据——从该文件可以看到,content 列保存的是经过预处理的词 id 序列(逗号分隔的整数),并对不足定长的序列补 0,这正是后续特征列可以直接消费的输入形态。

2. 训练 DNNClassifier

在 Jupyter Notebook(已集成 SQLFlow magic command)中执行:

%%sqlflow
SELECT content, class FROM imdb.train
TO TRAIN DNNClassifier
WITH
model.n_classes = 2,
model.hidden_units = [128, 64]
LABEL class
INTO sqlflow_models.my_text_model_en;

参数说明:

参数 含义 默认值/取值
model.n_classes 分类类别数 2(二分类)
model.hidden_units 各隐藏层神经元数 数组,如 [128, 64]

3. 预测并读取结果

%%sqlflow
SELECT *
FROM imdb.test
TO PREDICT imdb.predict.class
USING sqlflow_models.my_text_model_en;

执行完成后,预测结果即写入表 imdb.predict 的 class 列,可直接用普通 SQL 查询查看。

从实现角度看,上述 SQL 会被 SQLFlow 翻译为调用 runtime.tensorflow 的训练/预测代码,其中 train.batch_size 与 train.epoch 等参数由公共属性字典统一解析(默认分别为 1 与 1,见 go/codegen/tensorflow/codegen.go),并最终注入到训练模板的 train(...) 调用中(见 template_train.go)。

三、使用自定义 Keras 模型训练(StackedBiLSTMClassifier)

内置 DNNClassifier 只能把输入展平成稠密向量,无法建模文本的序列结构。要训练双向 LSTM(BiLSTM)这类序列模型,需要引入自定义 Keras 模型。SQLFlow 采用 Keras 而非常规 Estimator 的原因与取舍可参考 自定义模型设计文档,其核心结论是:只支持 Keras Model 子类化(subclassing)方式——tf.keras.Model 通过 save_weights/load_weights 保存权重而不含拓扑,因此 SQLFlow 侧保存的是"模型类 + 权重",加载时通过重新实例化类来恢复结构。

1. 安装自定义模型仓库

git clone https://github.com/sql-machine-learning/models.git
# 把自定义模型类放入 sqlflow_models/ 目录,并在 sqlflow_models/__init__.py 中补充 import 行
# 在计划运行训练的服务端安装该模型仓库
python setup.py install

一个标准的自定义模型类(子类化 tf.keras.Model)骨架如下,来自设计文档中的 DNNClassifier 示例:

class DNNClassifier(tf.keras.Model):
    def __init__(self, feature_columns, hidden_units, n_classes):
        super(DNNClassifier, self).__init__()
        # 将 feature columns 组合为稠密张量输入层
        self.feature_layer = tf.keras.layers.DenseFeatures(feature_columns)
        self.hidden_layers = []
        for hidden_unit in hidden_units:
            self.hidden_layers.append(tf.keras.layers.Dense(hidden_unit))
        self.prediction_layer = tf.keras.layers.Dense(n_classes, activation='softmax')

    def call(self, inputs):
        x = self.feature_layer(inputs)
        for hidden_layer in self.hidden_layers:
            x = hidden_layer(x)
        return self.prediction_layer(x)

2. 修改 SQL 使用自定义模型

只需把 TO TRAIN 后的模型名换成模型类全限定名(包名.类名),并补充模型自定义参数:

%%sqlflow
SELECT content, class
FROM imdb.train limit 100
TO TRAIN sqlflow_models.StackedBiLSTMClassifier
WITH
model.n_classes = 2,
model.stack_units = [64,32],
model.hidden_size = 64,
train.epoch = 10,
train.batch_size = 64
column EMBEDDING(SEQ_CATEGORY_ID(content, 16000), 128, sum)
LABEL class
INTO sqlflow_models.my_custom_model;

这条语句同时引入了文本分类最关键的特征列语法 EMBEDDING(SEQ_CATEGORY_ID(content, 16000), 128, sum),其含义为:

  • SEQ_CATEGORY_ID(content, 16000):把 content 列视为序列化类别 id 特征,词汇表大小(bucket size)为 16000——即词 id 取值范围为 [0, 16000);
  • EMBEDDING(..., 128, sum):为上述类别特征生成 128 维的 embedding 向量,sum 为多条目时的聚合方式(combiner),支持 mean、sqrtn、sum。

训练参数 train.epoch、train.batch_size 直接作用于模型编译与 fit 过程;model.stack_units、model.hidden_size 则为自定义模型类的构造参数,由 SQLFlow 在实例化模型时以关键字参数注入(参见 train_keras.py 中对模型参数、optimizer、loss 的解析逻辑)。

3. 序列特征列的实现原理

SEQ_CATEGORY_ID 在 SQLFlow 内部被解析为 IR 层的 SeqCategoryIDColumn,对应 TensorFlow 的 tf.feature_column.sequence_categorical_column_with_identity(见 go/ir/feature_column.go);EMBEDDING 则对应 EmbeddingColumn(见 feature_column.go)。SQLFlow 支持三种 EMBEDDING 写法(见 ir_generator.go):

  • EMBEDDING(col_name, size):内部先置空类别列,由后续特征推导阶段自动填充 CategoryIDColumn;
  • EMBEDDING(SPARSE(...)/DENSE(...), size):基于字段描述直接生成类别 id 列,bucket size 取 Shape[0];
  • EMBEDDING(CATEGORY_ID(...), size):显式指定底层类别列。

特征推导阶段(go/ir/derivation.go)会根据列的实际数据推断 MaxID 并据此计算 bucket size:稀疏列用 Shape<a href="https://link.gitcode.com/i/cdd5a1196c0a1d4df08b441bfa2bc7f1" target="_blank">0],稠密列用 MaxID + 1。Python 侧对应的运行时实现见 [column.py(SeqCategoryIDColumn)与 column.py(EmbeddingColumn),编译阶段会将其映射为 TensorFlow 原生 feature column(compile.py);同时注意,SEQ_CATEGORY_ID 与 EMBEDDING 均不支持 XGBoost 模型,编译时会直接报错断言。

四、中文新闻分类:完整预处理与训练流程

中文数据集的处理明显更复杂,核心难点在于中文无法按空格分词。完整流程如下。

1. 下载并放置数据文件

下载 toutiao_cat_data.txt.zip 并解压得到 toutiao_cat_data.txt。将其复制到 MySQL 服务器所在机器的 /var/lib/mysql-files/ 目录——这是因为 MySQL 出于安全策略会阻止从不可信路径导入数据。

2. 创建数据库与表(注意 utf8mb4/utf8 字符集)

%%sqlflow
CREATE DATABASE toutiao;
CREATE TABLE `train` (
    `id` bigint(20) NOT NULL,
    `class_id` int(3) NOT NULL,
    `class_name` varchar(100) NOT NULL,
    `news_title` varchar(255) NOT NULL,
    `news_keywords` varchar(255) NOT NULL)
ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;

CREATE TABLE `train_processed` (
    `id` bigint(20) NOT NULL,
    `class_id` int(3) NOT NULL,
    `class_name` varchar(100) NOT NULL,
    `news_title` TEXT NOT NULL,
    `news_keywords` varchar(255) NOT NULL)
ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;

CREATE TABLE `test_processed` (
    `id` bigint(20) NOT NULL,
    `class_id` int(3) NOT NULL,
    `class_name` varchar(100) NOT NULL,
    `news_title` TEXT NOT NULL,
    `news_keywords` varchar(255) NOT NULL)
ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;
COMMIT;

必须指定 CHARSET=utf8 COLLATE=utf8_unicode_ci,否则中文文本无法正确显示与存储;news_title 在预处理表中使用 TEXT 类型以容纳更长的词 id 序列。

3. 导入原始数据

%%sqlflow
LOAD DATA LOCAL
INFILE '/var/lib/mysql-files/toutiao_cat_data.txt'
INTO TABLE train
CHARACTER SET utf8
FIELDS TERMINATED by '_!_'
LINES TERMINATED by "\n";

原始文件以 _!_ 分隔字段,逐行读取即可完成导入。

4. 生成词表并预处理文本

运行配套 Python 脚本完成三件事:基于语料生成词汇表;把原始中文标题切词并映射为词 id 序列;按定长 92 做 padding(不足补 0,超出截断)。脚本还会把 class_id 从原始的 100~117 重映射为 0~17——这是 SQLFlow 的硬性约束:标签必须从 0 开始连续编号。

仓库 go/sql/testdata/text_cn_sql.go 中保存的预处理前后样例可以直观对照这一过程:原始 news_title 是逗号分隔的词 id(如 1,2,3,4,5,6,7,8,9),预处理后变成定长 92 的序列(如 1,2,3,4,5,6,7,8,9,0,0,...),class_id 相应地从 1 起步递增编号。

5. 划分验证集并从训练集剔除

%%sqlflow
INSERT INTO `test_processed` (`id`, `class_id`, `class_name`, `news_title`, `news_keywords`)
SELECT `id`, `class_id`, `class_name`, `news_title`, `news_keywords` FROM `train_processed`
ORDER BY RAND()
LIMIT 5000;

DELETE FROM `train_processed` WHERE id IN (
    SELECT id FROM `test_processed` AS p
)

随机抽取 5000 条作为测试集,并从训练集中删除,避免数据泄漏。

6. 训练与预测

%%sqlflow
SELECT news_title, class_id
FROM toutiao.train_processed
TO TRAIN DNNClassifier
WITH
model.n_classes = 17,
model.hidden_units = [128, 512]
LABEL class_id
INTO sqlflow_models.my_text_model;
%%sqlflow
SELECT *
FROM toutiao.test_processed
TO PREDICT toutiao.predict.class_id
USING sqlflow_models.my_text_model;

预测完成后,从表 toutiao.predict 即可读出每条新闻标题的分类结果。相比 IMDB 案例,这里 model.n_classes = 17 对应重映射后的 17 个新闻类别;特征输入为定长词 id 序列,由 SQLFlow 自动完成特征推导并生成类别/embedding 特征列。

五、常见问题与注意事项

  1. 标签必须从 0 开始:中文数据集的 class_id 原本为 100~117,必须重映射为 0~17,否则训练会出错;
  2. MySQL 导入权限:LOAD DATA LOCAL INFILE 指向的路径必须在 MySQL 允许的目录(如 /var/lib/mysql-files/)内;
  3. 中文必须显式指定字符集:建表时使用 CHARSET=utf8 COLLATE=utf8_unicode_ci,否则中文乱码;
  4. 序列特征列仅限 TensorFlow 模型:SEQ_CATEGORY_ID、EMBEDDING 在 XGBoost 模型下会触发编译断言错误(见 compile.py);
  5. 自定义模型需先安装:模型仓库必须 python setup.py install 安装到 SQLFlow 运行训练的服务端,且类名要用全限定名(sqlflow_models.YourAwesomeModel);
  6. 版本敏感性:教程步骤随 SQLFlow 演进可能变化,以当前版本仓库为准。

六、延伸阅读

登录后查看全文
sqlflow