使用 RevoScalePy 在 SQL Server 2017 Machine Learning Services 中构建共享单车站点空置预测模型
使用 RevoScalePy 在 SQL Server 2017 Machine Learning Services 中构建共享单车站点空置预测模型
导读
本文基于 sql-server-samples 仓库中的 samples/features/machine-learning-services/python/getting-started/bike-sharing prediction 样例,完整讲解如何在 SQL Server 2017 Machine Learning Services(Python)环境中,使用微软 RevoScalePy(revoscalepy)配合 scikit-learn 构建一个"站点是否为空"的二分类预测模型。读者通过本文可以掌握:利用 RxSqlServerData/RxInSqlServer 在 SQL Server 与 Python 之间建立远程计算上下文(Compute Context)、通过 rx_logit_ex 在 SQL Server 内执行逻辑回归训练、以及如何用 scikit-learn Pipeline 组织完整的特征工程流程,最终输出可评估的预测结果。
样例概览与业务背景
基于真实数据的预测场景:Vélib 共享单车
该样例的预测任务来自巴黎的公共自行车服务 Vélib——一个拥有约 14500 辆自行车和 1230 个站点的城市级共享单车网络。数据源由 JCdecaux 提供(详见样例 README 中的 Disclaimers 声明)。本样例使用的数据集是巴黎第 8 区、为期一个月、以 15 分钟为采样频率采集的站点状态数据。
针对这样的运营数据,样例要解决的问题非常贴近真实运维需求:预测某个自行车站在某个时刻是否为空(empty)。这是一个典型的二分类问题:
label = 0:站点为空(没有可租用的自行车);label = 1:站点非空(还有可用自行车)。
样例的核心构成
从 README.md 可以看出,整个样例由四个文件组成,分工清晰:
| 文件 | 职责 |
|---|---|
datasource.py |
定义从 SQL Server 拉取数据、提供 SQL Server 计算上下文的 DataSource 类 |
pipeline.py |
定义机器学习流水线:特征工程各 Transformer 与 RevoScalePy 逻辑回归分类器 |
runner.py |
启动代码与 main 入口,串联数据加载、流水线执行、训练/测试划分与模型评估 |
setup.sql |
恢复样例数据库 velibDB(需根据本机路径修改 RESTORE 语句) |
技术要点:README 明确标注了该样例的适用范围——SQL Server 2017 CTP2.0 或更高版本,编程语言为 Python 与 T-SQL,核心特性是 SQL Server Machine Learning Services。
运行前提与准备工作
软件与数据库前提
根据 README 的 "Before you begin" 一节,运行本样例需要满足:
- SQL Server 2017 CTP2.0(或更高版本),且安装时必须勾选 Machine Learning Services(Python) 组件;
- SQL Server Management Studio(SSMS),用于执行 T-SQL 脚本恢复数据库;
- Python Tools for Visual Studio(PTVS) 或其他 Python IDE,用于打开和运行 Python 源码。
恢复样例数据库
首先下载样例数据库备份文件 velibDB.bak,将其放置到 SQL Server 可访问的目录(README 示例路径为 C:\Program Files\Microsoft SQL Server\MSSQL14.MSSQLSERVER\MSSQL\Backup\),然后在 SSMS 中执行 setup.sql 完成恢复:
USE master;
GO
RESTORE DATABASE velibDB
FROM DISK = 'C:\Program Files\Microsoft SQL Server\MSSQL14.MSSQLSERVER\MSSQL\Backup\velibDB.bak'
WITH
MOVE 'velibDB' TO 'C:\Program Files\Microsoft SQL Server\MSSQL14.MSSQLSERVER\MSSQL\DATA\velibDB.mdf'
,MOVE 'velibDB_log' TO 'C:\Program Files\Microsoft SQL Server\MSSQL14.MSSQLSERVER\MSSQL\DATA\velibDB.ldf';
GO
脚本注释中特别强调:务必把两个文件路径修改为你本机 SQL Server 实例的实际安装目录,否则 RESTORE 会因找不到路径而失败。恢复后的数据库名为 velibDB。
配置 Python 环境
README 给出了两种 Python 解释器路径,取决于你的安装形态:
- 数据库内(in-db)Python 服务:
C:\Program Files\Microsoft SQL Server\MSSQL14.MSSQLSERVER\PYTHON_SERVICES - 独立安装的 Machine Learning Server(standalone):
C:\Program Files\Microsoft SQL Server\140\PYTHON_SERVER
在 PTVS 的 "Tools → Python → Python Environments" 中把上述路径添加为 Python 环境,然后通过 "从现有代码创建新项目"(New Python project from existing code)指向本样例的源码目录并选择该环境。
数据接入层:datasource.py 与 SQL Server 计算上下文
datasource.py 是整套方案的数据接入层,它演示了 RevoScalePy 中**远程计算上下文(remote compute context)**的标准用法:
from revoscalepy.computecontext.RxComputeContext import RxComputeContext
from revoscalepy.computecontext.RxInSqlServer import RxInSqlServer
from revoscalepy.computecontext.RxInSqlServer import RxSqlServerData
from revoscalepy.etl.RxImport import rx_import_datasource
class DataSource():
def __init__(self, connectionstring):
self.__connectionstring = connectionstring
def loaddata(self):
dataSource = RxSqlServerData(sqlQuery = "select * from dbo.trainingdata", verbose=True, reportProgress =True,
connectionString = self.__connectionstring)
self.__computeContext = RxInSqlServer(connectionString = self.__connectionstring, autoCleanup = True)
data = rx_import_datasource(dataSource)
return data
def getcomputecontext(self):
if self.__computeContext is None:
raise RuntimeError("Data must be loaded before requesting computecontext!")
return self.__computeContext
关键设计点:
RxSqlServerData定义数据源:通过sqlQuery = "select * from dbo.trainingdata"指定从 SQL Server 表dbo.trainingdata读取训练数据,并开启verbose=True、reportProgress=True以获得详细日志与进度回显;RxInSqlServer建立计算上下文:autoCleanup=True表示每次调用后自动清理内部临时对象,避免资源泄漏;rx_import_datasource拉取数据:将 SQL Server 中的数据导入为 Python 侧可用的数据结构(pandas DataFrame);- 惰性保护:
getcomputecontext()在数据尚未加载时抛出RuntimeError("Data must be loaded before requesting computecontext!"),保证计算上下文只在数据就绪后可用。
特征工程与建模:pipeline.py 详解
pipeline.py 是本样例的技术核心,它把 scikit-learn 的 BaseEstimator/TransformerMixin 约定与 RevoScalePy 的分布式算法(rx_logit_ex、rx_predict_ex)无缝融合,形成一条可复用的特征工程→建模流水线。
1. 异常值处理:OutliersHandler
class OutliersHandler(BaseEstimator, TransformerMixin):
def transform(self, df):
df.availablebikes = np.where(df.availablebikes > df.bikestands, df.bikestands, df.availablebikes)
return df
业务规则非常直白:可用自行车数量不可能超过站点总桩位数(bikestands)。凡是 availablebikes > bikestands 的异常记录,一律截断为 bikestands。
2. 标签定义:LabelDefiner
class LabelDefiner(BaseEstimator, TransformerMixin):
def __init__(self, availability_threshold = 1):
self.threshold = availability_threshold
def transform(self, df):
df['label'] = np.where(df.availablebikes < self.threshold, 0, 1)
return df
把原始数值列转换为二分类目标变量:当可用车辆数低于阈值(默认 1,即可用数为 0)时标记为 0(空站),否则标记为 1(非空)。
3. 日期时间特征提取:DateTimeFeaturesExtractor
def transform(self, df):
df['lastupdate']= pd.to_datetime(df['lastupdate'])
df['day'] = df.lastupdate.dt.day.astype(int)
df['month'] = df.lastupdate.dt.month.astype(int)
df['hour']= df.lastupdate.dt.hour.astype(int)
df['minute']= df.lastupdate.dt.minute.astype(int)
df['isweekend'] = np.where(df['lastupdate'].dt.dayofweek > 4, 1, 0)
df.sort_values(by='lastupdate', inplace = True)
return df
从时间戳 lastupdate 中派生 day、month、hour、minute 以及周末标记 isweekend(dayofweek > 4 即周六、周日为 1),并按时间排序,为后续时序特征做准备。
4. 时序特征提取:TSFeaturesExtractor
def __init__(self, max_lags = 4):
self.__max_lags = max_lags
def transform(self, df):
df.sort_values(['lastupdate','stationid'], ascending = [True, True])
for i in range(self.__max_lags):
df['lag' + str(i)] = df.groupby(['stationid'])['availablebikes'].shift(i + 1)
df['1st_derivative'] = df.groupby('stationid')['lag0'].transform(lambda x: np.gradient(x))
df['2nd_derivative'] = df.groupby('stationid')['1st_derivative'].transform(lambda x: np.gradient(x))
df['fft_max_coeff'] = df.groupby(['stationid', 'month', 'day', 'hour'])['lag0'].transform(lambda x: np.amax(np.abs(np.fft.rfft(x))))
df['fft_energy'] = df.groupby(['stationid', 'month', 'day', 'hour'])['lag0'].transform(lambda x: np.sum((np.abs(np.fft.rfft(x))) ** 2))
return df
这是整个特征工程中最有信息量的一段,体现了对共享单车数据的领域理解:
- 滞后特征
lag0~lag3:按stationid分组后对availablebikes做shift(i+1),即用前 1~4 个 15 分钟采样点的可用车辆数作为预测输入,把历史状态编码进特征; - 一阶/二阶导数:对
lag0分别用np.gradient求一阶、二阶导数,刻画可用车辆数的变化速度与加速度; - 频域特征:按
stationid + month + day + hour分组,对lag0做 FFT(np.fft.rfft),提取最大傅里叶系数fft_max_coeff与能量fft_energy,捕捉站点的周期性波动模式。
5. 统计特征提取:StatisticalFeaturesExtractor
df['var'] = df.groupby(['stationid', 'month', 'day', 'hour'])['lag0'].transform('var')
df['cumrelfreq'] = df.groupby(['stationid', 'month', 'day', 'hour'])['lag0'].cumsum() / self.__max_lags
df['mad'] = df.groupby(['stationid', 'month', 'day', 'hour'])['lag0'].transform('mad')
df['idxmax'] = df.groupby(['stationid', 'month', 'day', 'hour'])['lag0'].transform(lambda x: np.argmax(x.ravel()))
df['idxmin'] = df.groupby(['stationid', 'month', 'day', 'hour'])['lag0'].transform(lambda x: np.argmin(x.ravel()))
补充方差 var、平均绝对偏差 mad、累计相对频率 cumrelfreq、最大值/最小值位置索引 idxmax/idxmin 等统计量,进一步丰富每个"站点×时间段"窗口的分布形态信息。
6. 特征排除与标准化:FeaturesExcluder + FeaturesScaler
class FeaturesExcluder(BaseEstimator, TransformerMixin):
def __init__(self, features = ['availablebikes', 'bikestands','lastupdate', 'zipcode','month', 'day']):
self.__exclusionlist = features
def transform(self, df):
df.drop(self.__exclusionlist, axis = 1, inplace = True)
return df
剔除原始目标列(availablebikes)、纯标识/无关列(bikestands、lastupdate、zipcode、month、day),避免标签泄漏与冗余特征。
class FeaturesScaler(BaseEstimator, TransformerMixin):
def transform(self, df):
if df.isnull().any().any():
df.dropna(inplace = True)
cols = df.columns.tolist()
excluded_cols = ['stationid', 'label','hour', 'minute', 'isweekend']
X = StandardScaler().fit_transform(df.drop(excluded_cols, axis=1, inplace = False))
X = np.concatenate((df.loc[:, excluded_cols].as_matrix(), X), axis = 1)
df_out = pd.DataFrame(X, columns = cols)
return df_out
先删除含空值的行,再对连续特征做 Z-score 标准化(StandardScaler),而 stationid、label、hour、minute、isweekend 作为离散/目标列保持原值,最后合并还原为 DataFrame。
7. RevoScalePy 逻辑回归分类器:RxClassifier
class RxClassifier(BaseEstimator, ClassifierMixin):
def __init__(self, computecontext):
self.__computecontext = computecontext
def fit(self, X, y = None):
formula = "label ~ F(stationid) + F(hour) + F(minute) + isweekend + lag0 + \
lag1 + lag2 + lag3 + 1st_derivative + 2nd_derivative\
+ fft_max_coeff + fft_energy + var + cumrelfreq + mad + idxmax + idxmin"
start = time.time()
self.__clf = rx_logit_ex(formula, data = X, compute_context = self.__computecontext, report_progress = 3, verbose = 1)
end = time.time()
print("Training time duration: %.2f seconds" % (end - start))
return self.__clf.coefficients
def predict(self, X):
if self.__clf is None:
raise RuntimeError("Data must be fitted before calling predict!")
predict = rx_predict_ex(self.__clf, data = X, compute_context = self.__computecontext)
predictions = np.where(predict._results['label_Pred'] == 1, 1, 0)
return predictions
这一层把 RevoScalePy 算法封装成 sklearn 兼容的估计器:
rx_logit_ex训练逻辑回归:通过 R 风格的公式语法声明模型,F(stationid)、F(hour)、F(minute)表示将对应列作为因子(factor)处理(即离散化),其余为连续特征;关键是传入compute_context = self.__computecontext,使训练计算在 SQL Server 侧执行,利用report_progress = 3、verbose = 1输出训练进度,并打印训练耗时;rx_predict_ex在线预测:同样指定计算上下文进行评分,然后从_results['label_Pred']中取出预测标签,np.where(... == 1, 1, 0)转换为 0/1 二分类输出;- 状态保护:未训练就调用
predict会抛出RuntimeError("Data must be fitted before calling predict!")。
端到端编排:runner.py 的流水线执行与评估
runner.py 是整个方案的入口脚本,展示了从数据加载到模型评估的完整闭环:
def run():
# modify connection string to point to MLS/SQL Server instance where you restored the database
connectionstring = 'Driver=SQL Server;Server=MLMACHINE\\SQLSERVER17;Database=velibdb;Trusted_Connection=True;'
ds = DataSource(connectionstring)
df = ds.loaddata()
pipeline = Pipeline(steps= [('outliers', OutliersHandler()),
('label',LabelDefiner()),
('dt', DateTimeFeaturesExtractor()),
('ts', TSFeaturesExtractor()),
('st', StatisticalFeaturesExtractor()),
('exclusion', FeaturesExcluder()),
('scaler', FeaturesScaler())]
)
# Execute Pipeline
df = pipeline.fit_transform(df)
# split dataset
test_size = 24 * 4 # one day test set of each station
train = df.groupby('stationid').head(df.shape[0] - test_size)
test = df.groupby('stationid').tail(test_size)
# fit classifier
clf = RxClassifier(computecontext = ds.getcomputecontext())
coeffs = clf.fit(train)
#print coefficients and exclude stationid Factor
print(coeffs.tail(14))
# run prediction on hold out set and evaluate
y_pred = clf.predict(test.drop(['label'], axis=1, inplace = False))
y_truth = test['label'].as_matrix()
print(classification_report(y_truth, y_pred))
if __name__ == "__main__":
run()
连接字符串
'Driver=SQL Server;Server=MLMACHINE\\SQLSERVER17;Database=velibdb;Trusted_Connection=True;'
采用 ODBC 驱动连接 SQL Server 命名实例,Windows 集成认证(Trusted_Connection=True),数据库为 velibdb。运行前必须将其改为你实际恢复数据库的服务器与实例名。
流水线组织
利用 sklearn 的 Pipeline 把 7 个步骤按序串联:outliers → label → dt → ts → st → exclusion → scaler,一次 fit_transform 即可完成全部特征工程。
训练/测试划分
test_size = 24 * 4 # 每个站点一天的测试集(24 小时 × 4 个 15 分钟采样点)
train = df.groupby('stationid').head(df.shape[0] - test_size)
test = df.groupby('stationid').tail(test_size)
采用按站点分组的时间序列留出法:每个站点取最后一天(96 个采样点)作为测试集,其余作为训练集,避免随机切分破坏时序连续性,也保证测试集覆盖所有站点。
结果输出
- 打印模型系数
coeffs.tail(14)(跳过stationid因子项,展示主要特征系数); - 调用
classification_report(y_truth, y_pred)输出精确率、召回率、F1 值等完整分类评估指标。
从样例到实践:同仓库的姊妹样例参考
本样例是 sql-server-samples 仓库 samples/features/machine-learning-services/python 目录下机器学习服务入门系列之一,同目录的其他样例可以帮你从不同角度理解 RevoScalePy 的使用模式:
- rental-prediction:同样基于 SQL Server 2017 ML Services,演示用
RxSqlServerData(table="dbo.rental_data", connection_string=..., column_info=...)读取表数据,并通过column_info指定列类型(含factor因子列及其levels),再以 scikit-learnLinearRegression预测自行车租赁数量——它展示了rx_import与 pandas DataFrame 的衔接方式; - customer-clustering:展示如何通过
RxSqlServerData(sql_query=...)执行一段复杂的聚合 SQL(客户退货比率特征工程),配合revoscalepy.rx_import取数后使用 scikit-learn KMeans 做聚类分析(含肘部法则选 K)。
对比可见,bike-sharing 样例是三者中工程化程度最高的:它把 RevoScalePy 的 rx_logit_ex/rx_predict_ex 与 sklearn Pipeline 深度集成,并演示了在 SQL Server 计算上下文上直接训练与评分的完整路径,非常适合作为理解"Python + SQL Server 机器学习服务"远程计算模式的进阶起点。
小结
本样例的价值在于示范了三条可以复用到真实项目中的关键能力:
- 计算上下文(Compute Context)模式:通过
RxInSqlServer让训练与预测在 SQL Server 内执行,数据无需全部搬到 Python 进程,天然契合企业级数据治理与安全要求; - 领域驱动的特征工程:结合共享单车业务语义构造滞后、导数、FFT、统计量等特征,形成可复用的 sklearn Transformer 链;
- 可评估的端到端闭环:从
setup.sql恢复数据库、datasource.py取数、pipeline.py建模到runner.py训练评估,全流程可复现。
动手实践时,只需按 README 准备 SQL Server 2017(含 ML Services/Python)、恢复 velibDB、配置 Python 环境并修改 runner.py 中的连接字符串即可运行。需要注意,README 明确标注该样例针对 SQL Server 2017 CTP2.0 及以上版本,若在更新版本上运行,建议核对 RevoScalePy 的 API 命名(例如新版本中将 rx_import_datasource 统一为 rx_import,见 rental_prediction.py 中的导入方式)。