sql-server-samples 实战:以 SQL Server 为 R 计算上下文构建电信客户流失预测模型
sql-server-samples 实战:以 SQL Server 为 R 计算上下文构建电信客户流失预测模型
导读
本文基于 sql-server-samples 仓库中的 samples/features/r-services/telco-customer-churn 示例,完整讲解数据专业人员如何利用自己熟悉的数据库技能入门数据科学:以移动运营商客户流失(Customer Churn)预测为业务场景,用 R 脚本以 SQL Server 作为计算上下文完成数据探索、特征工程、模型训练与评估,再通过 T-SQL 存储过程将模型操作化(Operationalize),实现可重复、可调度的预测流水线。读完本文,你将掌握 RevoScaleR 计算上下文(RxInSqlServer 与 RxLocalParallel)的切换、sp_execute_external_script 的调用方式、R 模型序列化入库,以及决策森林(rxDForest)、提升树(rxBTrees)、XGBoost 三类模型的训练—评分—评估全流程。
一、示例背景:为什么数据库人员需要理解客户流失预测
移动通信运营商处于竞争极为激烈的市场环境中。后付费(postpaid)客户流失会直接造成收入损失,常见的流失诱因包括:感知到频繁的服务中断、线上/零售门店体验差、竞争对手推出更有吸引力的家庭套餐或数据套餐等。能够规模化地提前识别"近期更可能流失"的客户,是运营商建立定制化挽留营销(outreach campaigns)与改进服务的重要竞争优势。
本示例的完整链路如下图所示(数据流参考仓库目录结构):
R 脚本(任意 R IDE 中开发)
│
├── 以 SQL Server 为计算上下文(RxInSqlServer)直接操作数据库表
├── 以本地并行上下文(RxLocalParallel)处理数据框
│
▼
SQL Server 数据库 telcoedw2(train / test / new 数据)
│
▼
存储过程封装(TelcoChurn-Operationalize.sql)
│
▼
Power BI 仪表盘可视化洞察
示例的目标非常明确:教你两种能力——
- 使用 SQL Server 作为 R 脚本的计算上下文:让大规模数据不需要全部拉入 R 内存,而是在数据库引擎侧完成计算;
- 使用存储过程操作化 R 脚本:把训练、评分、评估固化为可反复执行、可被应用层调用的 T-SQL 对象。
从仓库结构看,示例分为 R 与 SQL Server 两个目录,前者面向数据科学家的探索式开发,后者面向生产化落地,这正是"数据库专业人员做数据科学"的标准工作流。
二、环境准备:启用 R 脚本执行并安装依赖包
2.1 启用外部脚本执行
sp_execute_external_script 是 SQL Server 2016 起提供的系统存储过程,它把传入的脚本交给外部脚本运行时(本示例为 R)执行。要启用它,需要拥有实例的管理员权限并执行以下配置(见 Enabling R scripts to run and Installing required R Packages.sql):
EXECUTE sp_configure;
GO
-- 开启外部脚本执行
EXECUTE sp_configure 'external scripts enabled', 1;
GO
RECONFIGURE;
GO
RECONFIGURE 使配置立即生效。注意:这一步需要实例级管理员权限,且开启后建议评估安全影响(外部脚本运行账户的权限边界属于生产环境必须考量的因素)。
2.2 在 SQL Server 内安装 R 包
示例脚本展示了两种通过外部脚本安装 R 包的方式:
方式一:直接 install.packages
EXECUTE sp_execute_external_script
@language = N'R'
,@script=N'install.packages("xgboost")'
WITH RESULT SETS (( ResultSet VARCHAR(50)));
方式二:先 download.file 再本地安装(指定版本,更可控)
EXECUTE sp_execute_external_script
@language = N'R'
,@script=N'download.file("https://cran.r-project.org/bin/windows/contrib/3.4/xgboost_0.4-4.zip","xgboost")
install.packages("xgboost", repos = NULL, type = "source")'
WITH RESULT SETS (( ResultSet VARCHAR(50)));
脚本中针对 ggplot2、gplots、xgboost、qcc 等包分别给出了两种安装路径。其中 repos = NULL, type = "source" 表示不依赖 CRAN 仓库解析、直接按本地文件编译安装,适合网络受限环境。
2.3 R 端依赖包清单
在 R IDE 一侧,TelcoChurn-Setup.r 给出了完整的依赖安装清单,按用途分为两组:
- 数据探索与可视化:
devtools(用于从 GitHub 安装d3heatmap)、dplyr、gplots、ggplot2、qcc(帕累托图)、Rcpp、d3heatmap(交互热力图)、GGally(多变量图矩阵); - 模型构建与评估:
unbalanced(SMOTE 过采样)、rpart、randomForest、Matrix、xgboost、Ckmeans.1d.dp(特征重要性聚类)、DiagrammeR、ROCR、pROC、AUC。
同时 Setup 脚本设置了工作目录并定义了三个全示例共用的核心函数(详见下文"评估工具函数"小节)。
三、数据库与数据源设计:五个核心表
还原备份文件 telcoedw2.bak 到 SQL Server 2016 实例后,数据库包含如下五张表(说明见 SQL Server/README.md):
| 表名 | 用途 |
|---|---|
cdr_rx_models |
存放序列化(serialized)的 R 模型,用于客户流失预测 |
edw_cdr |
基础呼叫明细记录(Call Detail Records, CDR) |
edw_cdr_train |
训练数据 |
edw_cdr_test |
测试数据 |
edw_cdr_test_pred |
预测结果 |
其中 cdr_rx_models 的结构(见 TelcoChurn-Operationalize.sql)非常典型——用 varbinary(max) 列承载 R 对象的二进制序列化结果:
create table cdr_rx_models(
model_name varchar(30) not null default('default model') primary key,
model varbinary(max) not null
);
edw_cdr 中的字段在 R 端通过 colInfo 声明了完整的数据类型契约,包括:age、annualincome、monthlybilledamount、totalminsusedinlastmonth、unpaidbalance、penaltytoswitch(整数),calldroprate、callfailurerate、callingnum、percentagecalloutsidenetwork(数值),以及 gender、education、state、customersuspended、homeowner、maritalstatus、usesinternetservice、usesvoiceservice、numberofcomplaints、numberofmonthunpaid(因子)等,目标变量 churn 为 0/1 因子。这份 colInfo 契约在数据准备阶段至关重要,它确保 R 与 SQL 两侧对列类型、因子水平(levels)的理解完全一致(见 TelcoChurn-DataPreparation.r)。
四、R 端流水线:从探索到建模的四个脚本
R 目录采用"驱动脚本 + 分步脚本"结构(说明见 R/README.md):
- TelcoChurn-Main.r:驱动(driver)程序,串起全部流程;
- TelcoChurn-Setup.r:配置——安装包、设置工作目录、定义评估函数;
- TelcoChurn-DataExploration.r:数据探索与可视化(分布、箱线图、帕累托图、热力图等);
- TelcoChurn-DataPreparation.r:准备训练/测试集——支持"纯 SQL 侧准备"与"R 侧特征工程 + 分割 + SMOTE + 回写 SQL"两种方式;
- TelcoChurn-ModelBuilding.r:训练与评估模型。
4.1 计算上下文:一切围绕 rxSetComputeContext
所有分步脚本开头都声明了两个计算上下文(见 TelcoChurn-Main.r):
connection_string <- "Driver=SQL Server;Server=.;Database=telcoedw2;Trusted_Connection=yes;"
sql <- RxInSqlServer(connectionString = connection_string, autoCleanup = FALSE, consoleOutput = TRUE)
local <- RxLocalParallel()
rxOptions(reportProgress = 0)
RxInSqlServer:SQL Server 计算上下文——数据分析在数据库引擎侧执行,数据不必整体迁出,是"把计算推向数据"的关键;RxLocalParallel:本地并行上下文——数据已拉成数据框(data.frame)时在 R 进程内并行计算;rxSetComputeContext(sql)/rxSetComputeContext(local)随时切换。
数据接入的双通道:通过 RxSqlServerData(connectionString=..., table="edw_cdr", colInfo=col_info) 声明 SQL 数据源,再视场景选择——保留 SQL 数据源引用(供 SQL 上下文算法直接消费),或 rxDataStep(...) 拉取为本地数据框(myData/trainData/testData)供内存算法使用。col_info 对象需要在执行 Main 前由 DataPreparation 脚本定义好。
4.2 数据探索:SQL 上下文与本地上下文各显其能
TelcoChurn-DataExploration.r 演示了两类探索方式:
本地数据框上的 ggplot2 可视化(rxSetComputeContext(local) 后):
- 流失客户占比环形图(
coord_polar)、年龄密度图(geom_density+geom_rug); age、annualincome按churn分组的箱线图;- 教育水平、呼叫失败率(
callfailurerate)逐月对流失量的影响(dplyr聚合 +geom_bar分组柱状图); - 网外呼叫占比、呼损率(
calldroprate)的客户数分布; - 各州不同教育水平的流失比例矩阵图(
GGally::ggpairs)。
SQL 数据源上的 RevoScaleR 计算(rxSetComputeContext(sql) 后):
- 流失/未流失客户帕累托图:
rxCube( ~ churn, myDataTb, means = FALSE)+qcc::pareto.chart; - 按流失分组的年龄、年收入直方图:
rxHistogram( ~ age | churn, myDataTb); - 年龄 × 州的流失量交互热力图:
rxCrossTabs(N(churn) ~ F(age):state, ...)+d3heatmap。
这种"本地画图探索 + SQL 侧聚合计算"的组合,体现了数据库专业人员熟悉的 SQL 聚合思维可以直接迁移到 RevoScaleR 的 rxCube/rxCrossTabs/rxHistogram 之上。
4.3 数据准备:两条路径与 SMOTE 类不平衡处理
TelcoChurn-DataPreparation.r 提供了两条数据准备路径:
Method 1:全部在 SQL 数据库中准备
直接用 col_info 声明各表列类型,对 edw_cdr、edw_cdr_train、edw_cdr_test 分别执行 rxDataStep(..., overwrite = TRUE),让 RevoScaleR 在 SQL 侧完成类型规范化。
Method 2:在 R 中做特征工程与分割,再回写 SQL
- 投影列:用
rxGetVarNames剔除year、month两列,动态拼出SELECT col1, col2, ... FROM edw_cdr查询; - 元数据编辑:通过
RxSqlServerData(sqlQuery=..., colInfo=...)声明新的列类型契约(此路径下numberofcomplaints、numberofmonthunpaid转为整数); - 清洗:
rxDataStep(removeMissings = TRUE)去缺失,!duplicated()去重复行; - 分割:
rxSplit按splitByFactor="ind"拆分,其中ind由sample(0:1, ..., prob=c(0.3, 0.7))生成,得到 30% 测试 / 70% 训练; - SMOTE 过采样:调用
unbalanced::ubSMOTE(perc.over=200, k=3, perc.under=500)处理类不平衡(流失样本较少,需合成少数类样本,同时欠采样多数类); - 回写 SQL:将最终
trainData、testData通过rxDataStep(inData=..., outFile=trainDataTb/testDataTb, overwrite=TRUE)持久化到edw_cdr_train、edw_cdr_test,并用rxSummary( ~ churn, ...)验证分割后的类别分布。
这条路径完整展示了"SQL 取数 → R 特征工程 → 类不平衡处理 → 回写 SQL 供生产评分复用"的闭环。
4.4 模型构建:四类算法横跨开源与 RevoScaleR
TelcoChurn-ModelBuilding.r 训练了四类模型,覆盖"开源 R 包 + 微软 RevoScaleR 包"两个阵营:
① 开源 randomForest(本地数据框)
forest_model <- randomForest(churn ~ .,
data = trainData,
ntree = 8, mtry = 2, maxdepth = 32, replace = TRUE)
训练后输出模型摘要、误差演化曲线(plot)、变量重要性(importance/plot);评分用 predict(..., type="response"/"prob")。
② 开源 xgboost(本地数据框 + 稀疏矩阵)
ntrainData <- apply(trainData[, -27], 2, as.numeric)
dtrainData$data <- Matrix(ntrainData, sparse = TRUE)
dtrainData$label <- as.numeric(trainData$churn) - 1
xgboost_model <- xgboost(data = dtrainData$data, label = dtrainData$label,
max.depth = 32, eta = 1, nthread = 2, nround = 2,
objective = "binary:logistic")
注意 [, -27]:移除第 27 列(churn 标签列),并将标签转为 0/1;随后用 xgb.importance + xgb.plot.importance 输出特征重要性。
③ RevoScaleR rxDForest(SQL 数据源,SQL 计算上下文)
train_vars <- rxGetVarNames(trainDataTb)
train_vars <- train_vars[!train_vars %in% c("churn")]
formula <- as.formula(paste(c("churn", paste(train_vars, collapse="+")), collapse="~"))
rx_forest_model <- rxDForest(formula = formula, data = trainDataTb,
nTree = 8, maxDepth = 32, mTry = 2, minBucket = 1,
replace = TRUE, importance = TRUE, seed = 8,
parms = list(loss = c(0, 4, 1, 0)))
训练在 SQL 上下文中进行(数据不离开数据库);parms$loss 是不对称损失矩阵(c(0,4,1,0)),用于对"漏判流失客户"施加更高代价。评分时切换到本地上下文 rxPredict(modelObject=..., data=testData, type="prob")。
④ RevoScaleR rxBTrees(提升树,SQL 数据源)
rx_boosted_model <- rxBTrees(formula = formula, data = trainDataTb,
minSplit = 10, minBucket = 10, learningRate = 0.2,
nTree = 100, mTry = 2, maxDepth = 10, useSurrogate = 0,
replace = TRUE, importance = TRUE, lossFunction = "bernoulli")
lossFunction = "bernoulli" 表明这是二分类对数损失;learningRate(学习率)与 nTree(树数)共同控制模型复杂度。
每个模型训练后都执行统一的三段式流程:Train → Score(阈值 0.5 转硬分类)→ Evaluate(混淆矩阵 + Accuracy/Precision/Recall/F-Score + ROC/AUC)。
4.5 评估工具函数:全示例共用的度量定义
TelcoChurn-Setup.r 定义了三个被各脚本复用的函数:
evaluate_model(data, observed, predicted):由混淆矩阵计算Accuracy、Precision、Recall、F-Score四个指标并命名返回;roc_curve(data, observed, predicted):基于 RevoScaleR 的rxRocCurve绘制 ROC 曲线(供 rx 系列模型使用);roc.curve(s):手写 ROC 采样函数,遍历阈值s计算 FPR/TPR,配合AUC、pROC包绘制 ROC 并标注 AUC(供开源模型使用)。
五、操作化(Operationalize):用 T-SQL 存储过程固化全流程
如果说 R 目录是"数据科学家的工作台",那么 TelcoChurn-Operationalize.sql 就是"生产化部署层"。它把所有 R 逻辑封装为可重复调用的存储过程,全部基于 sp_execute_external_script。
5.1 训练类存储过程:模型序列化入库
以决策森林为例,generate_cdr_rx_DForest 在 SQL 内执行 R 训练,并把模型序列化为 varbinary(max) 输出:
create procedure generate_cdr_rx_DForest
as
begin
execute sp_execute_external_script
@language = N'R'
, @script = N'
require("RevoScaleR");
train_vars <- rxGetVarNames(edw_cdr_train)
train_vars <- train_vars[!train_vars %in% c("churn")]
formula <- as.formula(paste(c("churn", paste(train_vars, collapse="+")), collapse="~"))
rx_forest_model <- rxDForest(formula = formula, data = edw_cdr_train,
nTree = 8, maxDepth = 32, mTry = 2, minBucket = 1,
replace = TRUE, importance = TRUE, seed = 8,
parms = list(loss = c(0, 4, 1, 0)))
rxDForest_model <- data.frame(payload = as.raw(serialize(rx_forest_model, connection = NULL)));
'
, @input_data_1 = N'select * from edw_cdr_train'
, @input_data_1_name = N'edw_cdr_train'
, @output_data_1_name = N'rxDForest_model'
with result sets ((model varbinary(max)));
end;
关键机制解读:
@input_data_1指定进入 R 的输入查询,@input_data_1_name定义 R 侧数据框名(此处为edw_cdr_train,与表同名);serialize(model, connection=NULL)把 R 对象序列化为原始字节,data.frame(payload = as.raw(...))打包成单列输出,with result sets ((model varbinary(max)))声明返回结果集结构;- 调用后用
INSERT ... EXEC落库并更新模型名:
insert into cdr_rx_models (model)
exec generate_cdr_rx_DForest;
update cdr_rx_models set model_name = 'rxDForest' where model_name = 'default model';
generate_cdr_xgboost(XGBoost 训练)与 generate_cdr_rx_BTrees(提升树训练)的结构完全一致,仅 R 脚本内部算法不同。三者训练后 cdr_rx_models 中即拥有 xgboost、rxDForest、rxBTrees 三个可切换的模型。
5.2 评分类存储过程:unserialize 恢复模型并预测
评分过程接受 @model varchar(100) 参数,从 cdr_rx_models 取出对应模型反序列化后预测。以决策森林为例:
create procedure predict_cdr_churn_rx_forest (@model varchar(100))
as
begin
declare @rx_model varbinary(max) = (select model from cdr_rx_models where model_name = @model);
exec sp_execute_external_script
@language = N'R'
, @script = N'
require("RevoScaleR");
cdr_model <- unserialize(rx_model);
predictions <- rxPredict(modelObject = cdr_model, data = edw_cdr_test, type = "prob", overwrite = TRUE)
threshold <- 0.5
predictions$X0_prob <- NULL
predictions$churn_Pred <- NULL
names(predictions) <- c("probability")
predictions$prediction <- ifelse(predictions$probability > threshold, 1, 0)
edw_cdr_test_pred <- cbind(edw_cdr_test[, c("customerid", "churn")], predictions)
'
, @input_data_1 = N'select * from edw_cdr_test'
, @input_data_1_name = N'edw_cdr_test'
, @output_data_1_name = N'edw_cdr_test_pred'
, @params = N'@rx_model varbinary(max)'
, @rx_model = @rx_model
with result sets ( ("customerid" int, "churn" varchar(255), "probability" float, "prediction" float) );
end;
要点:@params/@rx_model 把存储过程的参数传入 R 环境;unserialize(rx_model) 恢复训练时的模型对象;输出数据集包含 customerid(客户标识)、churn(真实标签)、probability(流失概率)、prediction(按 0.5 阈值转化的硬分类)。predict_cdr_churn_xgboost 与 predict_cdr_churn_rx_boost 结构同理,分别处理 XGBoost 的稀疏矩阵输入和提升树的概率输出。
5.3 评估与可视化存储过程
model_evaluate:读取edw_cdr_test_pred,在 R 内复用evaluate_model函数计算混淆矩阵与 Accuracy/Precision/Recall/F-Score,with result sets声明四列浮点输出;model_roccurve:基于rxRocCurve生成 ROC 图,通过jpeg()写出为临时图片文件后以varbinary(max)返回(readBin(file(image_file, "rb"), what=raw(), n=1e6));importance:接收模型名参数,unserialize后调用rxVarImpPlot输出特征重要性图;pareto/histogram/heatmap:把 R 目录中的帕累托图、按流失分组的年龄直方图、年龄 × 州流失热力图全部固化为可随时重跑的存储过程,输出均为图片二进制流。
这种"图片以二进制结果集返回"的模式,让数据库侧也能直接消费可视化产物,便于与报表工具集成。
六、端到端演练:TelcoChurn-Main.sql 的五步主流程
仓库为"快速启动"提供了统一入口——运行 TelcoChurn-Main.sql。它假设存储过程已由 Operationalize 脚本创建,随后依次完成:
Step 0 - 查看已序列化的模型:
use telcoedw2
go
select * from cdr_rx_models
Step 1 - 训练决策森林模型(成功后 cdr_rx_models 中生成模型二进制):
exec generate_cdr_rx_DForest;
Step 2 - 用 rxPredict 评分,结果写入 edw_cdr_test_pred:
drop table if exists edw_cdr_test_pred;
go
create table edw_cdr_test_pred(
customerid int, churn varchar(255),
probability float, prediction float
)
insert into edw_cdr_test_pred
exec predict_cdr_churn_rx_forest 'rxDForest';
go
select * from edw_cdr_test_pred
Step 3 - 评估模型:
exec model_evaluate
Step 4-5 - 重复 Step 2-3 评估提升树与 XGBoost:分别以 predict_cdr_churn_rx_boost 'rxBTrees'、predict_cdr_churn_rx_boost 'rxBTrees'(XGBoost 分支在完整脚本中对应 predict_cdr_churn_xgboost 'xgboost')执行评分,再各跑一次 model_evaluate,从而在同一测试集、同一评估函数下横向比较三类模型。
这样设计的好处:训练、评分、评估都是幂等可重跑的存储过程,任何一次业务数据更新后都可以用同样五步重新产出预测结果与质量指标,这正是"操作化"的价值所在。
七、从模型到决策:Power BI 仪表盘与业务闭环
示例在 README 中说明,模型产出的洞察通过 Power BI 仪表盘可视化呈现(面向电信行业的 Telco 仪表盘模板,例如按州、按客户群体展示流失概率分布,供市场部门设计个性化挽留活动)。其业务闭环为:
- 识别:评分存储过程批量输出每位客户的流失概率;
- 排序:按
probability降序圈定高风险客户群; - 行动:针对高风险客户设计定制化挽留方案(套餐调整、客服介入等);
- 度量:
model_evaluate的 Precision/Recall/F-Score 帮助量化模型在实际投放中的命中质量。
数据库专业人员可以据此把"预测结果表"当作普通业务表对待——继续用熟悉的 SQL 做圈选、导出、与 CRM 系统对接,无需离开数据库生态。
八、总结与上手路线图
本示例的价值在于完整演示了"数据科学家开发 + 数据库专业人员落地"的协作范式:
| 阶段 | 使用资产 | 关键要点 |
|---|---|---|
| 环境准备 | Enabling R scripts...sql | sp_configure 'external scripts enabled', 1 + RECONFIGURE |
| 探索分析 | TelcoChurn-DataExploration.r | ggplot2 本地画图 + rxCube/rxCrossTabs SQL 侧聚合 |
| 数据准备 | TelcoChurn-DataPreparation.r | colInfo 类型契约、rxSplit 分割、SMOTE 平衡 |
| 模型构建 | TelcoChurn-ModelBuilding.r | randomForest / xgboost / rxDForest / rxBTrees |
| 操作化 | TelcoChurn-Operationalize.sql | 训练、评分、评估、可视化全部存储过程化 |
| 快速演练 | TelcoChurn-Main.sql | 五步完成训练→评分→评估→对比 |
推荐的上手顺序:先还原 telcoedw2.bak 并启用外部脚本;接着在 R IDE 中按 Setup → DataPreparation → DataExploration → ModelBuilding 顺序走通 R 侧流水线(TelcoChurn-Main.r 为驱动入口);最后回到 SQL Server 执行 TelcoChurn-Operationalize.sql 建好存储过程,用 TelcoChurn-Main.sql 完成生产化演练,并用 Power BI 连接 edw_cdr_test_pred 构建流失监控仪表盘。
示例所在的 samples/features/r-services 目录还包含 Retail Precision Marketing、loan-classification、predictive-analytics 等更多 R + SQL Server 场景,可以作为同类实践的延伸参考。需要说明的是,本示例面向 SQL Server 2016 的 R Services(Machine Learning Services 前身)设计,在更高版本中建议以当前版本的机器学习服务文档为准核对包与配置差异。