SQL Server R Services 实战指南:用 R 语言为数据库专业人士构建电信客户流失预测模型
SQL Server R Services 实战指南:用 R 语言为数据库专业人士构建电信客户流失预测模型
本指南以 Microsoft SQL Server 官方示例仓库中的 Telco Customer Churn 端到端演示为蓝本(telco-customer-churn-v1),面向熟悉数据库、希望踏入数据科学领域的开发者,完整讲解如何以 SQL Server 作为计算上下文运行 R 脚本完成数据分析与建模,并通过 T-SQL 存储过程将 R 脚本"运维化",最终以 Power BI 报表或 SQL 报表交付业务洞察。读完本文,你将掌握一条可复制的技术路径:从原始话单数据导入、数据探索、特征工程、模型训练与评估,到存储过程封装与报表可视化。
业务背景:为什么移动运营商必须主动管理客户流失
客户流失(Customer Churn)指客户停止使用某项服务、转向竞争对手、降级使用低档套餐,或明显减少对服务的参与度。在竞争极其激烈的移动通信市场,后付费(postpaid)客户的流失会直接侵蚀收入,因此"以规模化方式主动、准确地识别可能流失的客户"往往能构成巨大的竞争优势。
本用例聚焦一家移动电话运营商:它希望提前识别短期内最可能流失的客户,以便改进服务质量,并针对性地发起挽留客户的定制化外呼活动。根据示例文档,移动客户流失的常见诱因包括:感知到频繁的服务中断、线上/零售门店糟糕的客户服务体验,以及来自其他运营商的竞争性优惠(更优的家庭套餐、数据套餐等)。
围绕这一具体场景,该示例展示了数据库专业人士可以如何快速起步:
- 以 SQL Server 作为计算上下文运行 R 脚本;
- 使用存储过程对 R 脚本进行运维化封装。
模型产出的洞察最终通过 Power BI 仪表盘(例如电信行业模板)或 SQL 报表(telcoChurn-reportBuilder.rdl)进行可视化。
环境准备与前置条件
在运行本演示之前,需要完成以下环境搭建(对应原文档 Pre-requirements 一节):
- 安装 SQL Server 2016,或在 Azure 上创建一台装有 Standalone R Server 与 R Services(Machine Learning Services 的前身)的 SQL Server 2016 Enterprise 虚拟机,并确保 R 服务已安装、配置并可用;
- 安装 R IDE:R Tools for Visual Studio 或 RStudio 均可;
- 安装 SQL Server 2016 Enterprise 的 Report Builder,用于打开随附的
.rdl报表; - 验证安装成功(例如确认
sp_execute_external_script可正常调用 R)。
说明:示例中的连接代码默认使用 SQL Server 身份验证(
sa),同时也支持切换为 Windows 身份验证,下文会给出对应配置方法。
仓库目录结构速览
示例由四个目录组成(原文档 Files 一节):
| 目录 | 用途 |
|---|---|
Data |
存放原始数据文件 edw_cdr.csv(话单明细)与 state_latlon.csv(美国各州经纬度),需按文档指引下载 |
R |
可在任意 R IDE 中运行的 R 脚本(数据探索、预处理、训练、评估等) |
SQL |
创建内嵌 R 代码的 T-SQL 存储过程,并直接体验整套 churn 示例的 SQL 脚本 |
ReportBuilder |
由 Report Builder 创建的示例 SQL 报表(.rdl) |
快速上手方式:先运行 R 脚本将数据载入 SQL Server,再依次执行 telcoChurn-operationalize.sql(创建存储过程)与 telcoChurn-main.sql(训练—评估—评分全流程)。
R 脚本驱动的端到端数据科学流水线
R 目录下共 7 个脚本,从R/README.md 可以清晰看到各自职责:
telcoChurn-setUp.R— 安装所需 R 包;telcoChurn-evaluate.R— 定义模型评估函数;telcoChurn-dataExploration.R— 创建 Shiny 应用探索与可视化数据;telcoChurn-dataPreparation.R— 定义数据预处理与拆分函数,生成训练/测试集;telcoChurn-trainModel.R— 用rxDForest算法训练流失模型;telcoChurn-main.R— 主驱动脚本,串联整个演示;telcoChurn-modelComparison.R— 对比多种树模型算法。
环境初始化:telcoChurn-setUp.R
该脚本按用途分两组安装 R 包(源码):
- 数据探索类:
devtools、dplyr、gplots、ggplot2、qcc、Rcpp、d3heatmap、GGally、shiny、leaflet、jsonlite; - 建模类:
unbalanced(SMOTE 过采样)、rpart、randomForest、Matrix、xgboost、Ckmeans.1d.dp、DiagrammeR、ROCR、pROC、AUC。
其中 RevoScaleR 由 SQL Server R Services 提供,无需手动安装。
连接配置与数据加载:把 CSV 变成 SQL Server 表
主脚本 telcoChurn-main.R 开头是"Settings"配置区,需要按自己的环境修改:
## SQL database and login credentials
## Windows 身份验证下无需 user/password,并将 authenticationFlag 改为 "Windows"
authenticationFlag <- "SQL" # 可选值:"Windows" 或 "SQL"
servername <- "."
database <- "telcoedw"
user <- "sa"
password <- "" # 请设置你自己的密码
## 工作目录,改为演示主目录
wd <- "C:\\Demo\\TelcoChurn4\\TelcoChurn4"
连接字符串按身份验证方式动态拼接:
if (authenticationFlag == "Windows") {
sqlConnString <- paste("Driver=SQL Server;Server=", servername, ";Database=", database, ";trusted_connection=true", sep = "")
} else if (authenticationFlag == "SQL") {
sqlConnString <- paste("Driver=SQL Server;Server=", servername, ";Database=", database, ";Uid=", user, ";Pwd=", password, sep = "")
}
sqlCompute <- RxInSqlServer(connectionString = sqlConnString)
随后通过 RxTextData + RxSqlServerData + rxDataStep 把 edw_cdr.csv 灌入 SQL Server 的 edw_cdr 表。值得注意的关键点:脚本用 cdrColInfo 显式声明了每一列的类型——数值列(如 age、annualincome、monthlybilledamount 为 integer,calldroprate、callfailurerate 为 numeric)与因子列(如 churn 的取值层级为 0:1,gender 为 Female/Male,education 为四档学历等),这保证了类型推断的确定性,是数据科学流水线可复现的基础。
加载完成后调用 rxGetInfo(data = cdrSQL, getVarInfo = TRUE) 查看原始数据概况。
数据探索与可视化:Shiny + Leaflet 地理热力地图
telcoChurn-dataExploration.R 构建了一个 Shiny 应用:将话单数据按 state 汇总各州投诉数与流失数,并与 state_latlon.csv 的经纬度做 left_join,然后通过 leaflet 在地图上以圆圈半径呈现各州流失规模(radius = ~churnbystate * 0.1 * input$sc),侧边栏同时输出流失占比环形图、学历对流失的影响、呼叫失败率对流失的影响等 ggplot2 图表。
ui <- fluidPage(
titlePanel("Telco Customer Churn"),
sidebarLayout(
sidebarPanel(
sliderInput("sc", "Scale size of circles ...", min = 0.5, max = 5, value = 1, step = 0.1),
selectInput("state", "Select a state to add to the map", choices = c("", data$state), ...),
plotOutput("MyPlot1", height = "200px"), # 流失比例
plotOutput("MyPlot2", height = "200px"), # 学历影响
plotOutput("MyPlot3", height = "200px") # 呼叫失败率影响
),
mainPanel(leafletOutput("MyMap", height = 1000))
)
)
运行 shinyApp(ui, server) 后即可在浏览器中交互式探索数据分布,这是建模前理解业务的重要一步。
数据预处理与特征工程:清洗、拆分与 SMOTE
telcoChurn-dataPreparation.R 定义 dataPreparation 与 preProcess 两个函数,完成三件事:
- 清洗:用
rxDataStep(removeMissings = TRUE)剔除缺失值,再按行去重(cdrDF[!duplicated(cdrDF),]); - 拆分:固定随机种子
set.seed(1234),按 30% 测试 / 70% 训练的比例拆分为edw_cdr_test与edw_cdr_train两张表; - SMOTE 过采样:由于流失样本通常极度不均衡,脚本使用
unbalanced包的ubSMOTE对训练集合成少数类样本:
smotetrain <- ubSMOTE(X = trainDF[!trainVarsInd], Y = trainDF$churn,
perc.over = 200, perc.under = 500,
k = 3, verbose = TRUE)
参数含义:perc.over = 200 表示按少数类样本数的 200% 合成新样本,perc.under = 500 表示对多数类按过采样后少数类样本数的 500% 进行欠采样,k = 3 为近邻数。处理后的训练数据与测试数据经 rxDataStep 写回 SQL Server。
模型训练:RevoScaleR 的 rxDForest 决策森林
telcoChurn-trainModel.R 以 churn 为标签、其余列为特征动态构造公式,调用 rxDForest 在 SQL 数据源上直接训练(无需把数据拉回本地):
rx_forest_model <- rxDForest(formula = formula,
data = trainDataSQL,
nTree = 8,
maxDepth = 16,
mTry = 2,
minBucket = 1,
replace = TRUE,
importance = TRUE,
seed = 8,
parms = list(loss = c(0, 4, 1, 0)))
关键参数:nTree = 8 树数量、maxDepth = 16 最大深度、mTry = 2 每棵树的随机特征数、minBucket = 1 叶子最小样本数、importance = TRUE 输出变量重要性、loss = c(0, 4, 1, 0) 为代价矩阵——把"把未流失误判为流失"(代价 4)与"把流失漏判为未流失"(代价 1)不对称对待,在流失样本稀少时提升对正类的敏感度。训练后可通过 plot(rx_forest_model) 与 rxVarImpPlot(rx_forest_model) 查看树模型与变量重要性。
主脚本中训练与评分阶段刻意演示了计算上下文切换:训练在 rxSetComputeContext(sqlCompute)(SQL Server 计算上下文)下进行,评分阶段再切回 rxSetComputeContext('local') 本地计算上下文。这是 SQL Server R Services 的核心能力——大数据集的计算可以在数据库内并行完成。
模型评分与评估:混淆矩阵、四类指标与 ROC
telcoChurn-evaluate.R 提供两个可复用函数:
evaluateModel(data, observed, predicted):由混淆矩阵计算 Accuracy(准确率)、Precision(精确率)、Recall(召回率)、F-Score(F1) 四项指标;rxrocCurve(data, observed, predicted):封装rxRocCurve绘制 ROC 曲线。
评分时以 0.5 为阈值把预测概率二值化:
predictions <- rxPredict(modelObject = rx_forest_model, data = testDF,
type = "prob", overwrite = TRUE)
threshold <- 0.5
predictions$Forest_Prediction <- ifelse(predictions$Forest_Probability > threshold, 1, 0)
多算法对比:telcoChurn-modelComparison.R
除 rxDForest 外,仓库还提供 telcoChurn-modelComparison.R 用于横向对比多种基于树的分类算法:CRAN R 生态的 randomForest 与 xgboost,以及 RevoScaleR 生态的 rxDForest 与 rxBTrees(梯度提升树)。这为选择生产模型提供了可量化的依据。
用 T-SQL 存储过程把 R 脚本运维化
R 脚本适合研究与探索,而生产环境需要把模型训练、评分固化到数据库层面。telcoChurn-operationalize.sql 演示了如何用 sp_execute_external_script 把 R 代码嵌入存储过程,让 T-SQL 开发者也能直接调用。
数据库表结构设计
use telcoedw
go
-- 存储序列化后的 R 模型
create table cdr_models(
model_name varchar(30) not null default('default model') primary key,
model varbinary(max) not null
);
按 SQL/README.md 的说明,数据库共 5 张表:
| 表 | 用途 |
|---|---|
edw_cdr |
原始话单明细(Call Detail Records) |
edw_cdr_train |
训练数据(SMOTE 过采样后) |
edw_cdr_test |
测试数据 |
edw_cdr_pred |
预测结果 |
cdr_models |
序列化后的 R 模型二进制 |
训练存储过程:generate_cdr_rx_forest
该过程把 R 训练代码整体搬进 sp_execute_external_script,训练完成后将模型 serialize 为二进制并输出:
create procedure generate_cdr_rx_forest
as
begin
execute sp_execute_external_script
@language = N'R'
, @script = N'
require("RevoScaleR");
labelVar = "churn"
trainVars <- rxGetVarNames(edw_cdr_train)
trainVars <- trainVars[!trainVars %in% c(labelVar)]
temp <- paste(c(labelVar, paste(trainVars, collapse = "+")), collapse = "~")
formula <- as.formula(temp)
rx_forest_model <- rxDForest(formula = formula,
data = edw_cdr_train,
nTree = 8, maxDepth = 32, mTry = 2,
minBucket = 1, replace = TRUE,
importance = TRUE, seed = 8,
parms = list(loss = c(0, 4, 1, 0)))
rxDForest_model <- data.frame(payload = as.raw(serialize(rx_forest_model, connection = NULL)));
'
, @input_data_1 = N'select * from edw_cdr_train'
, @input_data_1_name = N'edw_cdr_train'
, @output_data_1_name = N'rxDForest_model'
with result sets ((model varbinary(max)));
end;
go
-- 训练并落库
insert into cdr_models (model) exec generate_cdr_rx_forest;
update cdr_models set model_name = 'rxDForest' where model_name = 'default model';
注意 SQL 版训练过程的 maxDepth 为 32(R 脚本为 16),其余超参数一致。模型以 varbinary(max) 形式持久化在 cdr_models 表中,后续评分直接读取,无需重复训练。
评分存储过程:predict_cdr_churn_rx_forest
评分过程接受模型名称参数,从 cdr_models 取回二进制模型、unserialize 后在测试集上调用 rxPredict:
create procedure predict_cdr_churn_rx_forest (@model varchar(100))
as
begin
declare @rx_model varbinary(max) = (select model from cdr_models where model_name = @model);
exec sp_execute_external_script
@language = N'R'
, @script = N'
require("RevoScaleR");
cdr_model <- unserialize(rx_model);
predictions <- rxPredict(modelObject = cdr_model, data = edw_cdr_test,
type = "prob", overwrite = TRUE)
threshold <- 0.5
names(predictions) <- c("probability")
predictions$prediction <- ifelse(predictions$probability > threshold, 1, 0)
edw_cdr_pred <- cbind(edw_cdr_test[, c("customerid", "churn")], predictions)
edw_cdr_pred <- as.data.frame(edw_cdr_pred);
'
, @input_data_1 = N'select * from edw_cdr_test'
, @input_data_1_name = N'edw_cdr_test'
, @output_data_1_name = N'edw_cdr_pred'
, @params = N'@rx_model varbinary(max)'
, @rx_model = @rx_model
with result sets (("customerid" int, "churn" varchar(255), "probability" float, "prediction" float));
end;
go
评分结果写入 edw_cdr_pred 表,可在 SSMS 中直接查询:select * from edw_cdr_pred。下图为 SQL 查询中调用 R 决策森林模型输出的预测结果示例。
评估与可视化存储过程
telcoChurn-operationalize.sql 还封装了 4 个评估/可视化过程,均以"R 中生成图片 → 序列化为二进制 → 以 varbinary(max) 结果集返回"的模式实现:
| 存储过程 | 功能 |
|---|---|
model_evaluate |
在预测表上计算 Accuracy、Precision、Recall、F-Score,并打印混淆矩阵 |
model_roccurve |
基于预测概率绘制 ROC 曲线,输出为图片二进制 |
pie |
用 rxCube 统计流失/未流失数量,绘制流失比例饼图 |
stackedbar |
以 rxCube( ~ churn:F(prediction)) 交叉统计真实与预测流失,绘制堆叠柱状图(混淆矩阵可视化) |
评估逻辑与 R 脚本完全同源:model_evaluate 内的 evaluateModel 函数与 telcoChurn-evaluate.R 一致;pie/stackedbar 则演示了如何在数据库内完成聚合统计(rxCube + rxResultsDF)并直接渲染图表。
一键体验:telcoChurn-main.sql
数据加载完成后,按 SQL/README.md 的指引依次执行两个脚本,telcoChurn-main.sql 就是完整的"训练—评估—评分"三连:
use telcoedw
go
-- Step 1 - 训练流失模型(生成模型二进制)
exec generate_cdr_rx_forest;
-- Step 2 - 用测试数据评估模型
exec model_evaluate;
-- Step 3 - 对测试客户评分
exec predict_cdr_churn_rx_forest 'rxDForest';
go
结果可视化:Report Builder 报表与 Power BI
模型预测结果的最后一步是面向业务人员交付。仓库在 ReportBuilder 目录提供 telcoChurn-reportBuilder.rdl:用 SQL Report Builder 打开该文件,点击 "Run" 即可调用内嵌的 T-SQL 存储过程,直接渲染出流失预测报表(用法详见 ReportBuilder/README.md)。下图展示了该报表的其中一屏(按州展示流失风险客户明细)。
此外,原文档指出模型洞察同样可以借助 Power BI 仪表盘(电信行业模板)呈现,将预测结果表作为数据源即可完成从模型到管理驾驶舱的闭环。
总结:数据库专业人士的数据科学起步路径
回顾整个示例,可以提炼出一条清晰可复用的方法论:
- 从熟悉的数据库出发:用
RxTextData/rxDataStep把 CSV 载入 SQL Server,用RxSqlServerData定义数据源,全部数据处理与建模都可以在 SQL 计算上下文内完成,数据库专业人士无需离开自己熟悉的领域; - 用 R 脚本做研究与原型:探索(Shiny + Leaflet)、预处理(清洗/拆分/SMOTE)、训练(
rxDForest)、评估(混淆矩阵 + 四指标 + ROC)逐层推进; - 用存储过程做生产运维化:
sp_execute_external_script把训练、评分、绘图全部封装为 T-SQL 可调用对象,模型以varbinary(max)持久化,评分结果落表,普通 T-SQL 开发者即可消费; - 用报表交付业务价值:Report Builder
.rdl或 Power BI 把预测结果转化为运营可执行的客户挽留清单。
围绕这一用例,仓库还提供了数据准备、模型对比、SSMS 自定义报表等扩展资源,可分别在 R 目录、SQL 目录 与 r-services 特性目录 中继续深入探索。


