使用 RevoScalePy 在 SQL Server 2017 Machine Learning Services 中构建共享单车站点空置预测模型

原创2026-09-23 18:10:041,603 阅读
文章标签:示例工程数据库教程后端

使用 RevoScalePy 在 SQL Server 2017 Machine Learning Services 中构建共享单车站点空置预测模型

导读

本文基于 sql-server-samples 仓库中的 samples/features/machine-learning-services/python/getting-started/bike-sharing prediction 样例,完整讲解如何在 SQL Server 2017 Machine Learning Services(Python)环境中,使用微软 RevoScalePy(revoscalepy)配合 scikit-learn 构建一个"站点是否为空"的二分类预测模型。读者通过本文可以掌握:利用 RxSqlServerData/RxInSqlServer 在 SQL Server 与 Python 之间建立远程计算上下文(Compute Context)、通过 rx_logit_ex 在 SQL Server 内执行逻辑回归训练、以及如何用 scikit-learn Pipeline 组织完整的特征工程流程,最终输出可评估的预测结果。

样例概览与业务背景

基于真实数据的预测场景:Vélib 共享单车

该样例的预测任务来自巴黎的公共自行车服务 Vélib——一个拥有约 14500 辆自行车和 1230 个站点的城市级共享单车网络。数据源由 JCdecaux 提供(详见样例 README 中的 Disclaimers 声明)。本样例使用的数据集是巴黎第 8 区、为期一个月、以 15 分钟为采样频率采集的站点状态数据。

针对这样的运营数据,样例要解决的问题非常贴近真实运维需求:预测某个自行车站在某个时刻是否为空(empty)。这是一个典型的二分类问题:

  • label = 0:站点为空(没有可租用的自行车);
  • label = 1:站点非空(还有可用自行车)。

样例的核心构成

从 README.md 可以看出,整个样例由四个文件组成,分工清晰:

文件 职责
datasource.py 定义从 SQL Server 拉取数据、提供 SQL Server 计算上下文的 DataSource 类
pipeline.py 定义机器学习流水线:特征工程各 Transformer 与 RevoScalePy 逻辑回归分类器
runner.py 启动代码与 main 入口,串联数据加载、流水线执行、训练/测试划分与模型评估
setup.sql 恢复样例数据库 velibDB(需根据本机路径修改 RESTORE 语句)

技术要点:README 明确标注了该样例的适用范围——SQL Server 2017 CTP2.0 或更高版本,编程语言为 Python 与 T-SQL,核心特性是 SQL Server Machine Learning Services。

运行前提与准备工作

软件与数据库前提

根据 README 的 "Before you begin" 一节,运行本样例需要满足:

  1. SQL Server 2017 CTP2.0(或更高版本),且安装时必须勾选 Machine Learning Services(Python) 组件;
  2. SQL Server Management Studio(SSMS),用于执行 T-SQL 脚本恢复数据库;
  3. Python Tools for Visual Studio(PTVS) 或其他 Python IDE,用于打开和运行 Python 源码。

恢复样例数据库

首先下载样例数据库备份文件 velibDB.bak,将其放置到 SQL Server 可访问的目录(README 示例路径为 C:\Program Files\Microsoft SQL Server\MSSQL14.MSSQLSERVER\MSSQL\Backup\),然后在 SSMS 中执行 setup.sql 完成恢复:

USE master;
GO
RESTORE DATABASE velibDB
   FROM DISK = 'C:\Program Files\Microsoft SQL Server\MSSQL14.MSSQLSERVER\MSSQL\Backup\velibDB.bak'
   WITH
                MOVE 'velibDB' TO 'C:\Program Files\Microsoft SQL Server\MSSQL14.MSSQLSERVER\MSSQL\DATA\velibDB.mdf'
                ,MOVE 'velibDB_log' TO 'C:\Program Files\Microsoft SQL Server\MSSQL14.MSSQLSERVER\MSSQL\DATA\velibDB.ldf';
GO

脚本注释中特别强调:务必把两个文件路径修改为你本机 SQL Server 实例的实际安装目录,否则 RESTORE 会因找不到路径而失败。恢复后的数据库名为 velibDB。

配置 Python 环境

README 给出了两种 Python 解释器路径,取决于你的安装形态:

  • 数据库内(in-db)Python 服务:C:\Program Files\Microsoft SQL Server\MSSQL14.MSSQLSERVER\PYTHON_SERVICES
  • 独立安装的 Machine Learning Server(standalone):C:\Program Files\Microsoft SQL Server\140\PYTHON_SERVER

在 PTVS 的 "Tools → Python → Python Environments" 中把上述路径添加为 Python 环境,然后通过 "从现有代码创建新项目"(New Python project from existing code)指向本样例的源码目录并选择该环境。

数据接入层:datasource.py 与 SQL Server 计算上下文

datasource.py 是整套方案的数据接入层,它演示了 RevoScalePy 中**远程计算上下文(remote compute context)**的标准用法:

from revoscalepy.computecontext.RxComputeContext import RxComputeContext
from revoscalepy.computecontext.RxInSqlServer import RxInSqlServer
from revoscalepy.computecontext.RxInSqlServer import RxSqlServerData
from revoscalepy.etl.RxImport import rx_import_datasource


class DataSource():

    def __init__(self, connectionstring):
        self.__connectionstring = connectionstring

    def loaddata(self):
        dataSource = RxSqlServerData(sqlQuery = "select * from dbo.trainingdata", verbose=True, reportProgress =True,
                                     connectionString = self.__connectionstring)

        self.__computeContext = RxInSqlServer(connectionString = self.__connectionstring, autoCleanup = True)
        data = rx_import_datasource(dataSource)

        return data

    def getcomputecontext(self):
        if self.__computeContext is None:
            raise RuntimeError("Data must be loaded before requesting computecontext!")
        return self.__computeContext

关键设计点:

  1. RxSqlServerData 定义数据源:通过 sqlQuery = "select * from dbo.trainingdata" 指定从 SQL Server 表 dbo.trainingdata 读取训练数据,并开启 verbose=True、reportProgress=True 以获得详细日志与进度回显;
  2. RxInSqlServer 建立计算上下文:autoCleanup=True 表示每次调用后自动清理内部临时对象,避免资源泄漏;
  3. rx_import_datasource 拉取数据:将 SQL Server 中的数据导入为 Python 侧可用的数据结构(pandas DataFrame);
  4. 惰性保护:getcomputecontext() 在数据尚未加载时抛出 RuntimeError("Data must be loaded before requesting computecontext!"),保证计算上下文只在数据就绪后可用。

特征工程与建模:pipeline.py 详解

pipeline.py 是本样例的技术核心,它把 scikit-learn 的 BaseEstimator/TransformerMixin 约定与 RevoScalePy 的分布式算法(rx_logit_ex、rx_predict_ex)无缝融合,形成一条可复用的特征工程→建模流水线。

1. 异常值处理:OutliersHandler

class OutliersHandler(BaseEstimator, TransformerMixin):
    def transform(self, df):
        df.availablebikes = np.where(df.availablebikes > df.bikestands, df.bikestands, df.availablebikes)
        return df

业务规则非常直白:可用自行车数量不可能超过站点总桩位数(bikestands)。凡是 availablebikes > bikestands 的异常记录,一律截断为 bikestands。

2. 标签定义:LabelDefiner

class LabelDefiner(BaseEstimator, TransformerMixin):
    def __init__(self, availability_threshold = 1):
        self.threshold = availability_threshold

    def transform(self, df):
        df['label'] = np.where(df.availablebikes < self.threshold, 0, 1)
        return df

把原始数值列转换为二分类目标变量:当可用车辆数低于阈值(默认 1,即可用数为 0)时标记为 0(空站),否则标记为 1(非空)。

3. 日期时间特征提取:DateTimeFeaturesExtractor

def transform(self, df):
    df['lastupdate']= pd.to_datetime(df['lastupdate'])
    df['day'] = df.lastupdate.dt.day.astype(int)
    df['month'] = df.lastupdate.dt.month.astype(int)
    df['hour']= df.lastupdate.dt.hour.astype(int)
    df['minute']= df.lastupdate.dt.minute.astype(int)
    df['isweekend'] = np.where(df['lastupdate'].dt.dayofweek > 4, 1, 0)
    df.sort_values(by='lastupdate', inplace = True)
    return df

从时间戳 lastupdate 中派生 day、month、hour、minute 以及周末标记 isweekend(dayofweek > 4 即周六、周日为 1),并按时间排序,为后续时序特征做准备。

4. 时序特征提取:TSFeaturesExtractor

def __init__(self, max_lags = 4):
    self.__max_lags = max_lags

def transform(self, df):
    df.sort_values(['lastupdate','stationid'], ascending = [True, True])

    for i in range(self.__max_lags):
        df['lag'  + str(i)] = df.groupby(['stationid'])['availablebikes'].shift(i + 1)

    df['1st_derivative'] = df.groupby('stationid')['lag0'].transform(lambda x: np.gradient(x))
    df['2nd_derivative'] = df.groupby('stationid')['1st_derivative'].transform(lambda x: np.gradient(x))
    df['fft_max_coeff'] = df.groupby(['stationid', 'month', 'day', 'hour'])['lag0'].transform(lambda x: np.amax(np.abs(np.fft.rfft(x))))
    df['fft_energy'] = df.groupby(['stationid', 'month', 'day', 'hour'])['lag0'].transform(lambda x: np.sum((np.abs(np.fft.rfft(x))) ** 2))

    return df

这是整个特征工程中最有信息量的一段,体现了对共享单车数据的领域理解:

  • 滞后特征 lag0~lag3:按 stationid 分组后对 availablebikes 做 shift(i+1),即用前 1~4 个 15 分钟采样点的可用车辆数作为预测输入,把历史状态编码进特征;
  • 一阶/二阶导数:对 lag0 分别用 np.gradient 求一阶、二阶导数,刻画可用车辆数的变化速度与加速度;
  • 频域特征:按 stationid + month + day + hour 分组,对 lag0 做 FFT(np.fft.rfft),提取最大傅里叶系数 fft_max_coeff 与能量 fft_energy,捕捉站点的周期性波动模式。

5. 统计特征提取:StatisticalFeaturesExtractor

df['var'] = df.groupby(['stationid', 'month', 'day', 'hour'])['lag0'].transform('var')
df['cumrelfreq'] = df.groupby(['stationid', 'month', 'day', 'hour'])['lag0'].cumsum() / self.__max_lags
df['mad'] = df.groupby(['stationid', 'month', 'day', 'hour'])['lag0'].transform('mad')
df['idxmax'] = df.groupby(['stationid', 'month', 'day', 'hour'])['lag0'].transform(lambda x: np.argmax(x.ravel()))
df['idxmin'] = df.groupby(['stationid', 'month', 'day', 'hour'])['lag0'].transform(lambda x: np.argmin(x.ravel()))

补充方差 var、平均绝对偏差 mad、累计相对频率 cumrelfreq、最大值/最小值位置索引 idxmax/idxmin 等统计量,进一步丰富每个"站点×时间段"窗口的分布形态信息。

6. 特征排除与标准化:FeaturesExcluder + FeaturesScaler

class FeaturesExcluder(BaseEstimator, TransformerMixin):
    def __init__(self, features = ['availablebikes', 'bikestands','lastupdate', 'zipcode','month', 'day']):
        self.__exclusionlist = features

    def transform(self, df):
        df.drop(self.__exclusionlist, axis = 1, inplace = True)
        return df

剔除原始目标列(availablebikes)、纯标识/无关列(bikestands、lastupdate、zipcode、month、day),避免标签泄漏与冗余特征。

class FeaturesScaler(BaseEstimator, TransformerMixin):
    def transform(self, df):
        if df.isnull().any().any():
            df.dropna(inplace = True)
        cols = df.columns.tolist()
        excluded_cols = ['stationid', 'label','hour', 'minute', 'isweekend']
        X = StandardScaler().fit_transform(df.drop(excluded_cols, axis=1, inplace = False))
        X = np.concatenate((df.loc[:, excluded_cols].as_matrix(), X), axis = 1)
        df_out = pd.DataFrame(X, columns = cols)
        return df_out

先删除含空值的行,再对连续特征做 Z-score 标准化(StandardScaler),而 stationid、label、hour、minute、isweekend 作为离散/目标列保持原值,最后合并还原为 DataFrame。

7. RevoScalePy 逻辑回归分类器:RxClassifier

class RxClassifier(BaseEstimator, ClassifierMixin):

    def __init__(self, computecontext):
        self.__computecontext = computecontext

    def fit(self, X, y = None):
        formula = "label ~ F(stationid) + F(hour) + F(minute) + isweekend + lag0 +  \
                    lag1 + lag2 +  lag3 +  1st_derivative + 2nd_derivative\
                     + fft_max_coeff + fft_energy +  var +  cumrelfreq + mad + idxmax + idxmin"

        start = time.time()
        self.__clf = rx_logit_ex(formula, data = X, compute_context = self.__computecontext,  report_progress = 3, verbose = 1)
        end = time.time()
        print("Training time duration: %.2f seconds" % (end - start))
        return self.__clf.coefficients

    def predict(self, X):
        if self.__clf is None:
            raise RuntimeError("Data must be fitted before calling predict!")

        predict = rx_predict_ex(self.__clf, data = X,  compute_context = self.__computecontext)
        predictions = np.where(predict._results['label_Pred'] == 1, 1, 0)
        return predictions

这一层把 RevoScalePy 算法封装成 sklearn 兼容的估计器:

  • rx_logit_ex 训练逻辑回归:通过 R 风格的公式语法声明模型,F(stationid)、F(hour)、F(minute) 表示将对应列作为因子(factor)处理(即离散化),其余为连续特征;关键是传入 compute_context = self.__computecontext,使训练计算在 SQL Server 侧执行,利用 report_progress = 3、verbose = 1 输出训练进度,并打印训练耗时;
  • rx_predict_ex 在线预测:同样指定计算上下文进行评分,然后从 _results['label_Pred'] 中取出预测标签,np.where(... == 1, 1, 0) 转换为 0/1 二分类输出;
  • 状态保护:未训练就调用 predict 会抛出 RuntimeError("Data must be fitted before calling predict!")。

端到端编排:runner.py 的流水线执行与评估

runner.py 是整个方案的入口脚本,展示了从数据加载到模型评估的完整闭环:

def run():

    # modify connection string to point to MLS/SQL Server instance where you restored the database
    connectionstring = 'Driver=SQL Server;Server=MLMACHINE\\SQLSERVER17;Database=velibdb;Trusted_Connection=True;'

    ds = DataSource(connectionstring)
    df = ds.loaddata()

    pipeline = Pipeline(steps= [('outliers', OutliersHandler()),
                                ('label',LabelDefiner()),
                                ('dt', DateTimeFeaturesExtractor()),
                                ('ts', TSFeaturesExtractor()),
                                ('st',  StatisticalFeaturesExtractor()),
                                ('exclusion', FeaturesExcluder()),
                                ('scaler', FeaturesScaler())]
                       )

    # Execute Pipeline
    df = pipeline.fit_transform(df)

    # split dataset
    test_size = 24 * 4 # one day test set of each station
    train = df.groupby('stationid').head(df.shape[0] - test_size)
    test = df.groupby('stationid').tail(test_size)

    # fit classifier
    clf = RxClassifier(computecontext = ds.getcomputecontext())
    coeffs = clf.fit(train)
    #print coefficients and exclude stationid Factor
    print(coeffs.tail(14))

    #  run prediction on hold out set and evaluate
    y_pred = clf.predict(test.drop(['label'], axis=1, inplace = False))
    y_truth = test['label'].as_matrix()
    print(classification_report(y_truth, y_pred))


if __name__ == "__main__":
   run()

连接字符串

'Driver=SQL Server;Server=MLMACHINE\\SQLSERVER17;Database=velibdb;Trusted_Connection=True;'

采用 ODBC 驱动连接 SQL Server 命名实例,Windows 集成认证(Trusted_Connection=True),数据库为 velibdb。运行前必须将其改为你实际恢复数据库的服务器与实例名。

流水线组织

利用 sklearn 的 Pipeline 把 7 个步骤按序串联:outliers → label → dt → ts → st → exclusion → scaler,一次 fit_transform 即可完成全部特征工程。

训练/测试划分

test_size = 24 * 4  # 每个站点一天的测试集(24 小时 × 4 个 15 分钟采样点)
train = df.groupby('stationid').head(df.shape[0] - test_size)
test = df.groupby('stationid').tail(test_size)

采用按站点分组的时间序列留出法:每个站点取最后一天(96 个采样点)作为测试集,其余作为训练集,避免随机切分破坏时序连续性,也保证测试集覆盖所有站点。

结果输出

  • 打印模型系数 coeffs.tail(14)(跳过 stationid 因子项,展示主要特征系数);
  • 调用 classification_report(y_truth, y_pred) 输出精确率、召回率、F1 值等完整分类评估指标。

从样例到实践:同仓库的姊妹样例参考

本样例是 sql-server-samples 仓库 samples/features/machine-learning-services/python 目录下机器学习服务入门系列之一,同目录的其他样例可以帮你从不同角度理解 RevoScalePy 的使用模式:

  • rental-prediction:同样基于 SQL Server 2017 ML Services,演示用 RxSqlServerData(table="dbo.rental_data", connection_string=..., column_info=...) 读取表数据,并通过 column_info 指定列类型(含 factor 因子列及其 levels),再以 scikit-learn LinearRegression 预测自行车租赁数量——它展示了 rx_import 与 pandas DataFrame 的衔接方式;
  • customer-clustering:展示如何通过 RxSqlServerData(sql_query=...) 执行一段复杂的聚合 SQL(客户退货比率特征工程),配合 revoscalepy.rx_import 取数后使用 scikit-learn KMeans 做聚类分析(含肘部法则选 K)。

对比可见,bike-sharing 样例是三者中工程化程度最高的:它把 RevoScalePy 的 rx_logit_ex/rx_predict_ex 与 sklearn Pipeline 深度集成,并演示了在 SQL Server 计算上下文上直接训练与评分的完整路径,非常适合作为理解"Python + SQL Server 机器学习服务"远程计算模式的进阶起点。

小结

本样例的价值在于示范了三条可以复用到真实项目中的关键能力:

  1. 计算上下文(Compute Context)模式:通过 RxInSqlServer 让训练与预测在 SQL Server 内执行,数据无需全部搬到 Python 进程,天然契合企业级数据治理与安全要求;
  2. 领域驱动的特征工程:结合共享单车业务语义构造滞后、导数、FFT、统计量等特征,形成可复用的 sklearn Transformer 链;
  3. 可评估的端到端闭环:从 setup.sql 恢复数据库、datasource.py 取数、pipeline.py 建模到 runner.py 训练评估,全流程可复现。

动手实践时,只需按 README 准备 SQL Server 2017(含 ML Services/Python)、恢复 velibDB、配置 Python 环境并修改 runner.py 中的连接字符串即可运行。需要注意,README 明确标注该样例针对 SQL Server 2017 CTP2.0 及以上版本,若在更新版本上运行,建议核对 RevoScalePy 的 API 命名(例如新版本中将 rx_import_datasource 统一为 rx_import,见 rental_prediction.py 中的导入方式)。

登录后查看全文
sql-server-samples