SQL Server R Services 实战指南:用 R 语言为数据库专业人士构建电信客户流失预测模型

原创2026-09-24 13:22:052,193 阅读
文章标签:示例工程数据库教程后端

SQL Server R Services 实战指南:用 R 语言为数据库专业人士构建电信客户流失预测模型

本指南以 Microsoft SQL Server 官方示例仓库中的 Telco Customer Churn 端到端演示为蓝本(telco-customer-churn-v1),面向熟悉数据库、希望踏入数据科学领域的开发者,完整讲解如何以 SQL Server 作为计算上下文运行 R 脚本完成数据分析与建模,并通过 T-SQL 存储过程将 R 脚本"运维化",最终以 Power BI 报表或 SQL 报表交付业务洞察。读完本文,你将掌握一条可复制的技术路径:从原始话单数据导入、数据探索、特征工程、模型训练与评估,到存储过程封装与报表可视化。

业务背景:为什么移动运营商必须主动管理客户流失

客户流失(Customer Churn)指客户停止使用某项服务、转向竞争对手、降级使用低档套餐,或明显减少对服务的参与度。在竞争极其激烈的移动通信市场,后付费(postpaid)客户的流失会直接侵蚀收入,因此"以规模化方式主动、准确地识别可能流失的客户"往往能构成巨大的竞争优势。

本用例聚焦一家移动电话运营商:它希望提前识别短期内最可能流失的客户,以便改进服务质量,并针对性地发起挽留客户的定制化外呼活动。根据示例文档,移动客户流失的常见诱因包括:感知到频繁的服务中断、线上/零售门店糟糕的客户服务体验,以及来自其他运营商的竞争性优惠(更优的家庭套餐、数据套餐等)。

围绕这一具体场景,该示例展示了数据库专业人士可以如何快速起步:

  • 以 SQL Server 作为计算上下文运行 R 脚本;
  • 使用存储过程对 R 脚本进行运维化封装。

模型产出的洞察最终通过 Power BI 仪表盘(例如电信行业模板)或 SQL 报表(telcoChurn-reportBuilder.rdl)进行可视化。

环境准备与前置条件

在运行本演示之前,需要完成以下环境搭建(对应原文档 Pre-requirements 一节):

  1. 安装 SQL Server 2016,或在 Azure 上创建一台装有 Standalone R Server 与 R Services(Machine Learning Services 的前身)的 SQL Server 2016 Enterprise 虚拟机,并确保 R 服务已安装、配置并可用;
  2. 安装 R IDE:R Tools for Visual Studio 或 RStudio 均可;
  3. 安装 SQL Server 2016 Enterprise 的 Report Builder,用于打开随附的 .rdl 报表;
  4. 验证安装成功(例如确认 sp_execute_external_script 可正常调用 R)。

说明:示例中的连接代码默认使用 SQL Server 身份验证(sa),同时也支持切换为 Windows 身份验证,下文会给出对应配置方法。

仓库目录结构速览

示例由四个目录组成(原文档 Files 一节):

目录 用途
Data 存放原始数据文件 edw_cdr.csv(话单明细)与 state_latlon.csv(美国各州经纬度),需按文档指引下载
R 可在任意 R IDE 中运行的 R 脚本(数据探索、预处理、训练、评估等)
SQL 创建内嵌 R 代码的 T-SQL 存储过程,并直接体验整套 churn 示例的 SQL 脚本
ReportBuilder 由 Report Builder 创建的示例 SQL 报表(.rdl)

快速上手方式:先运行 R 脚本将数据载入 SQL Server,再依次执行 telcoChurn-operationalize.sql(创建存储过程)与 telcoChurn-main.sql(训练—评估—评分全流程)。

R 脚本驱动的端到端数据科学流水线

R 目录下共 7 个脚本,从R/README.md 可以清晰看到各自职责:

  • telcoChurn-setUp.R — 安装所需 R 包;
  • telcoChurn-evaluate.R — 定义模型评估函数;
  • telcoChurn-dataExploration.R — 创建 Shiny 应用探索与可视化数据;
  • telcoChurn-dataPreparation.R — 定义数据预处理与拆分函数,生成训练/测试集;
  • telcoChurn-trainModel.R — 用 rxDForest 算法训练流失模型;
  • telcoChurn-main.R — 主驱动脚本,串联整个演示;
  • telcoChurn-modelComparison.R — 对比多种树模型算法。

环境初始化:telcoChurn-setUp.R

该脚本按用途分两组安装 R 包(源码):

  • 数据探索类:devtools、dplyr、gplots、ggplot2、qcc、Rcpp、d3heatmap、GGally、shiny、leaflet、jsonlite;
  • 建模类:unbalanced(SMOTE 过采样)、rpart、randomForest、Matrix、xgboost、Ckmeans.1d.dp、DiagrammeR、ROCR、pROC、AUC。

其中 RevoScaleR 由 SQL Server R Services 提供,无需手动安装。

连接配置与数据加载:把 CSV 变成 SQL Server 表

主脚本 telcoChurn-main.R 开头是"Settings"配置区,需要按自己的环境修改:

## SQL database and login credentials
## Windows 身份验证下无需 user/password,并将 authenticationFlag 改为 "Windows"
authenticationFlag <- "SQL"      # 可选值:"Windows" 或 "SQL"
servername <- "."
database <- "telcoedw"
user <- "sa"
password <- ""                   # 请设置你自己的密码

## 工作目录,改为演示主目录
wd <- "C:\\Demo\\TelcoChurn4\\TelcoChurn4"

连接字符串按身份验证方式动态拼接:

if (authenticationFlag == "Windows") {
    sqlConnString <- paste("Driver=SQL Server;Server=", servername, ";Database=", database, ";trusted_connection=true", sep = "")
} else if (authenticationFlag == "SQL") {
    sqlConnString <- paste("Driver=SQL Server;Server=", servername, ";Database=", database, ";Uid=", user, ";Pwd=", password, sep = "")
}
sqlCompute <- RxInSqlServer(connectionString = sqlConnString)

随后通过 RxTextData + RxSqlServerData + rxDataStep 把 edw_cdr.csv 灌入 SQL Server 的 edw_cdr 表。值得注意的关键点:脚本用 cdrColInfo 显式声明了每一列的类型——数值列(如 age、annualincome、monthlybilledamount 为 integer,calldroprate、callfailurerate 为 numeric)与因子列(如 churn 的取值层级为 0:1,gender 为 Female/Male,education 为四档学历等),这保证了类型推断的确定性,是数据科学流水线可复现的基础。

加载完成后调用 rxGetInfo(data = cdrSQL, getVarInfo = TRUE) 查看原始数据概况。

数据探索与可视化:Shiny + Leaflet 地理热力地图

telcoChurn-dataExploration.R 构建了一个 Shiny 应用:将话单数据按 state 汇总各州投诉数与流失数,并与 state_latlon.csv 的经纬度做 left_join,然后通过 leaflet 在地图上以圆圈半径呈现各州流失规模(radius = ~churnbystate * 0.1 * input$sc),侧边栏同时输出流失占比环形图、学历对流失的影响、呼叫失败率对流失的影响等 ggplot2 图表。

ui <- fluidPage(
  titlePanel("Telco Customer Churn"),
  sidebarLayout(
    sidebarPanel(
      sliderInput("sc", "Scale size of circles ...", min = 0.5, max = 5, value = 1, step = 0.1),
      selectInput("state", "Select a state to add to the map", choices = c("", data$state), ...),
      plotOutput("MyPlot1", height = "200px"),  # 流失比例
      plotOutput("MyPlot2", height = "200px"),  # 学历影响
      plotOutput("MyPlot3", height = "200px")   # 呼叫失败率影响
    ),
    mainPanel(leafletOutput("MyMap", height = 1000))
  )
)

运行 shinyApp(ui, server) 后即可在浏览器中交互式探索数据分布,这是建模前理解业务的重要一步。

Shiny Leaflet 客户流失地理探索界面

数据预处理与特征工程:清洗、拆分与 SMOTE

telcoChurn-dataPreparation.R 定义 dataPreparation 与 preProcess 两个函数,完成三件事:

  1. 清洗:用 rxDataStep(removeMissings = TRUE) 剔除缺失值,再按行去重(cdrDF[!duplicated(cdrDF),]);
  2. 拆分:固定随机种子 set.seed(1234),按 30% 测试 / 70% 训练的比例拆分为 edw_cdr_test 与 edw_cdr_train 两张表;
  3. SMOTE 过采样:由于流失样本通常极度不均衡,脚本使用 unbalanced 包的 ubSMOTE 对训练集合成少数类样本:
smotetrain <- ubSMOTE(X = trainDF[!trainVarsInd], Y = trainDF$churn,
                      perc.over = 200, perc.under = 500,
                      k = 3, verbose = TRUE)

参数含义:perc.over = 200 表示按少数类样本数的 200% 合成新样本,perc.under = 500 表示对多数类按过采样后少数类样本数的 500% 进行欠采样,k = 3 为近邻数。处理后的训练数据与测试数据经 rxDataStep 写回 SQL Server。

模型训练:RevoScaleR 的 rxDForest 决策森林

telcoChurn-trainModel.R 以 churn 为标签、其余列为特征动态构造公式,调用 rxDForest 在 SQL 数据源上直接训练(无需把数据拉回本地):

rx_forest_model <- rxDForest(formula = formula,
                             data = trainDataSQL,
                             nTree = 8,
                             maxDepth = 16,
                             mTry = 2,
                             minBucket = 1,
                             replace = TRUE,
                             importance = TRUE,
                             seed = 8,
                             parms = list(loss = c(0, 4, 1, 0)))

关键参数:nTree = 8 树数量、maxDepth = 16 最大深度、mTry = 2 每棵树的随机特征数、minBucket = 1 叶子最小样本数、importance = TRUE 输出变量重要性、loss = c(0, 4, 1, 0) 为代价矩阵——把"把未流失误判为流失"(代价 4)与"把流失漏判为未流失"(代价 1)不对称对待,在流失样本稀少时提升对正类的敏感度。训练后可通过 plot(rx_forest_model) 与 rxVarImpPlot(rx_forest_model) 查看树模型与变量重要性。

主脚本中训练与评分阶段刻意演示了计算上下文切换:训练在 rxSetComputeContext(sqlCompute)(SQL Server 计算上下文)下进行,评分阶段再切回 rxSetComputeContext('local') 本地计算上下文。这是 SQL Server R Services 的核心能力——大数据集的计算可以在数据库内并行完成。

模型评分与评估:混淆矩阵、四类指标与 ROC

telcoChurn-evaluate.R 提供两个可复用函数:

  • evaluateModel(data, observed, predicted):由混淆矩阵计算 Accuracy(准确率)、Precision(精确率)、Recall(召回率)、F-Score(F1) 四项指标;
  • rxrocCurve(data, observed, predicted):封装 rxRocCurve 绘制 ROC 曲线。

评分时以 0.5 为阈值把预测概率二值化:

predictions <- rxPredict(modelObject = rx_forest_model, data = testDF,
                         type = "prob", overwrite = TRUE)
threshold <- 0.5
predictions$Forest_Prediction <- ifelse(predictions$Forest_Probability > threshold, 1, 0)

多算法对比:telcoChurn-modelComparison.R

除 rxDForest 外,仓库还提供 telcoChurn-modelComparison.R 用于横向对比多种基于树的分类算法:CRAN R 生态的 randomForest 与 xgboost,以及 RevoScaleR 生态的 rxDForest 与 rxBTrees(梯度提升树)。这为选择生产模型提供了可量化的依据。

用 T-SQL 存储过程把 R 脚本运维化

R 脚本适合研究与探索,而生产环境需要把模型训练、评分固化到数据库层面。telcoChurn-operationalize.sql 演示了如何用 sp_execute_external_script 把 R 代码嵌入存储过程,让 T-SQL 开发者也能直接调用。

数据库表结构设计

use telcoedw
go

-- 存储序列化后的 R 模型
create table cdr_models(
    model_name varchar(30) not null default('default model') primary key,
    model varbinary(max) not null
);

按 SQL/README.md 的说明,数据库共 5 张表:

表 用途
edw_cdr 原始话单明细(Call Detail Records)
edw_cdr_train 训练数据(SMOTE 过采样后)
edw_cdr_test 测试数据
edw_cdr_pred 预测结果
cdr_models 序列化后的 R 模型二进制

训练存储过程:generate_cdr_rx_forest

该过程把 R 训练代码整体搬进 sp_execute_external_script,训练完成后将模型 serialize 为二进制并输出:

create procedure generate_cdr_rx_forest
as
begin
    execute sp_execute_external_script
      @language = N'R'
    , @script = N'
        require("RevoScaleR");
        labelVar = "churn"
        trainVars <- rxGetVarNames(edw_cdr_train)
        trainVars <- trainVars[!trainVars %in% c(labelVar)]
        temp <- paste(c(labelVar, paste(trainVars, collapse = "+")), collapse = "~")
        formula <- as.formula(temp)
        rx_forest_model <- rxDForest(formula = formula,
                            data = edw_cdr_train,
                            nTree = 8, maxDepth = 32, mTry = 2,
                            minBucket = 1, replace = TRUE,
                            importance = TRUE, seed = 8,
                            parms = list(loss = c(0, 4, 1, 0)))
        rxDForest_model <- data.frame(payload = as.raw(serialize(rx_forest_model, connection = NULL)));
'
    , @input_data_1 = N'select * from edw_cdr_train'
    , @input_data_1_name = N'edw_cdr_train'
    , @output_data_1_name = N'rxDForest_model'
    with result sets ((model varbinary(max)));
end;
go

-- 训练并落库
insert into cdr_models (model) exec generate_cdr_rx_forest;
update cdr_models set model_name = 'rxDForest' where model_name = 'default model';

注意 SQL 版训练过程的 maxDepth 为 32(R 脚本为 16),其余超参数一致。模型以 varbinary(max) 形式持久化在 cdr_models 表中,后续评分直接读取,无需重复训练。

评分存储过程:predict_cdr_churn_rx_forest

评分过程接受模型名称参数,从 cdr_models 取回二进制模型、unserialize 后在测试集上调用 rxPredict:

create procedure predict_cdr_churn_rx_forest (@model varchar(100))
as
begin
    declare @rx_model varbinary(max) = (select model from cdr_models where model_name = @model);
    exec sp_execute_external_script
        @language = N'R'
      , @script = N'
        require("RevoScaleR");
        cdr_model <- unserialize(rx_model);
        predictions <- rxPredict(modelObject = cdr_model, data = edw_cdr_test,
                                 type = "prob", overwrite = TRUE)
        threshold <- 0.5
        names(predictions) <- c("probability")
        predictions$prediction <- ifelse(predictions$probability > threshold, 1, 0)
        edw_cdr_pred <- cbind(edw_cdr_test[, c("customerid", "churn")], predictions)
        edw_cdr_pred <- as.data.frame(edw_cdr_pred);
'
      , @input_data_1 = N'select * from edw_cdr_test'
      , @input_data_1_name = N'edw_cdr_test'
      , @output_data_1_name = N'edw_cdr_pred'
      , @params = N'@rx_model varbinary(max)'
      , @rx_model = @rx_model
      with result sets (("customerid" int, "churn" varchar(255), "probability" float, "prediction" float));
end;
go

评分结果写入 edw_cdr_pred 表,可在 SSMS 中直接查询:select * from edw_cdr_pred。下图为 SQL 查询中调用 R 决策森林模型输出的预测结果示例。

SSMS 中调用 rxDForest 模型评分的查询结果

评估与可视化存储过程

telcoChurn-operationalize.sql 还封装了 4 个评估/可视化过程,均以"R 中生成图片 → 序列化为二进制 → 以 varbinary(max) 结果集返回"的模式实现:

存储过程 功能
model_evaluate 在预测表上计算 Accuracy、Precision、Recall、F-Score,并打印混淆矩阵
model_roccurve 基于预测概率绘制 ROC 曲线,输出为图片二进制
pie 用 rxCube 统计流失/未流失数量,绘制流失比例饼图
stackedbar 以 rxCube( ~ churn:F(prediction)) 交叉统计真实与预测流失,绘制堆叠柱状图(混淆矩阵可视化)

评估逻辑与 R 脚本完全同源:model_evaluate 内的 evaluateModel 函数与 telcoChurn-evaluate.R 一致;pie/stackedbar 则演示了如何在数据库内完成聚合统计(rxCube + rxResultsDF)并直接渲染图表。

一键体验:telcoChurn-main.sql

数据加载完成后,按 SQL/README.md 的指引依次执行两个脚本,telcoChurn-main.sql 就是完整的"训练—评估—评分"三连:

use telcoedw
go

-- Step 1 - 训练流失模型(生成模型二进制)
exec generate_cdr_rx_forest;

-- Step 2 - 用测试数据评估模型
exec model_evaluate;

-- Step 3 - 对测试客户评分
exec predict_cdr_churn_rx_forest 'rxDForest';
go

结果可视化:Report Builder 报表与 Power BI

模型预测结果的最后一步是面向业务人员交付。仓库在 ReportBuilder 目录提供 telcoChurn-reportBuilder.rdl:用 SQL Report Builder 打开该文件,点击 "Run" 即可调用内嵌的 T-SQL 存储过程,直接渲染出流失预测报表(用法详见 ReportBuilder/README.md)。下图展示了该报表的其中一屏(按州展示流失风险客户明细)。

Report Builder 渲染的客户流失预测报表

此外,原文档指出模型洞察同样可以借助 Power BI 仪表盘(电信行业模板)呈现,将预测结果表作为数据源即可完成从模型到管理驾驶舱的闭环。

总结:数据库专业人士的数据科学起步路径

回顾整个示例,可以提炼出一条清晰可复用的方法论:

  1. 从熟悉的数据库出发:用 RxTextData/rxDataStep 把 CSV 载入 SQL Server,用 RxSqlServerData 定义数据源,全部数据处理与建模都可以在 SQL 计算上下文内完成,数据库专业人士无需离开自己熟悉的领域;
  2. 用 R 脚本做研究与原型:探索(Shiny + Leaflet)、预处理(清洗/拆分/SMOTE)、训练(rxDForest)、评估(混淆矩阵 + 四指标 + ROC)逐层推进;
  3. 用存储过程做生产运维化:sp_execute_external_script 把训练、评分、绘图全部封装为 T-SQL 可调用对象,模型以 varbinary(max) 持久化,评分结果落表,普通 T-SQL 开发者即可消费;
  4. 用报表交付业务价值:Report Builder .rdl 或 Power BI 把预测结果转化为运营可执行的客户挽留清单。

围绕这一用例,仓库还提供了数据准备、模型对比、SSMS 自定义报表等扩展资源,可分别在 R 目录、SQL 目录 与 r-services 特性目录 中继续深入探索。

登录后查看全文
sql-server-samples