用 SSMS 自定义报表全方位监控 SQL Server Machine Learning Services:配置、包、资源与执行统计实战指南
用 SSMS 自定义报表全方位监控 SQL Server Machine Learning Services:配置、包、资源与执行统计实战指南
本篇指南以 sql-server-samples 仓库中的 ssms-custom-reports 示例为核心,讲解如何借助 8 个现成的 RDL 报表,把 SQL Server Management Studio(SSMS)的“自定义报表”能力变成一套面向 R Services / Machine Learning Services 的运维控制台。读完本文,你将掌握报表的注册方法、每个报表背后的 DMV 查询原理,以及如何从 Object Explorer 直接查看配置状态、已装包清单、外部脚本资源消耗、扩展事件和执行统计,实现开箱即用的机器学习服务巡检。
示例概览:一套“零开发”的 ML Services 监控报表集
SQL Server 2016 起引入的 R Services(后续演进为 Machine Learning Services)允许在数据库内通过 sp_execute_external_script 运行 R 与 Python 脚本,但它的运行状态分散在若干系统视图与 DMV 中,手工巡检成本很高。本示例由微软工程师 Umachandar Jayachandran 编写,将常用诊断查询打包为 SSMS 可直接加载的报表定义文件(.rdl),覆盖以下能力:
- 查看 Machine Learning Services 功能安装后的配置状态;
- 列出实例上已安装的 R 或 Python 包;
- 查看外部脚本资源使用与资源治理(Resource Governor)设置;
- 查看与机器学习服务相关的扩展事件;
- 查看外部脚本的执行统计;
- 查看当前正在执行外部脚本的会话。
适用环境: SQL Server 2016(含 R Services)或 SQL Server 2017 及以上(含 Machine Learning Services),配合 SQL Server Management Studio 使用。报表本体是 RDL/XML 与内嵌 T-SQL、R、Python 代码的混合体,语言栈为 T-SQL + R + Python。
仓库中实际包含 8 个报表文件(比 README 列举的 5 个更全),全部位于 samples/features/machine-learning-services/ssms-custom-reports 目录:
| 文件 | 用途 |
|---|---|
| ML Services - Configuration.rdl | 查看安装设置与 R/Python 运行时属性 |
| ML Services - Configure Instance.rdl | 一键启用外部脚本并修复隐含认证登录 |
| ML Services - Packages.rdl | 列出已安装的 R / Python 包 |
| ML Services - Resource Usage.rdl | 查看 CPU / 内存 / IO 消耗与外部资源池设置 |
| ML Services - Extended Events.rdl | 列出 SQLSatellite 扩展事件 |
| ML Services - Execution Statistics.rdl | 查看外部脚本执行统计 |
| ML Services - Active Sessions.rdl | 查看正在执行外部脚本的会话 |
| ML Services - Script.rdl | 配套报表,展示其他报表所用底层脚本 |
前置条件
运行这套示例前,请确认以下软件就绪:
- SQL Server 2016(安装 R Services)或 SQL Server 2017 及以上(安装 Machine Learning Services,含 R 与 Python);
- SQL Server Management Studio(SSMS,任意较新版本均可,需支持自定义报表功能);
- 执行报表所用的登录账号具备相应权限(至少能查询
sys.dm_os_sys_info、sys.dm_exec_requests等 DMV,以及执行sp_execute_external_script的能力)。
需要注意,R 与 Python 运行时属性、包清单等数据集的查询会先检查 SERVERPROPERTY('IsAdvancedAnalyticsInstalled') 与 external scripts enabled 配置,因此报表在功能未启用或从未执行过任何外部脚本的实例上会返回空结果,这是正常现象(详见下文源码分析)。
安装与运行:把 RDL 注册为 SSMS 自定义报表
SSMS 的“自定义报表”机制允许用户把任意 .rdl 报表挂接到 Object Explorer 的某个节点上,随节点右键菜单一键打开。注册步骤如下:
- 将 ssms-custom-reports 目录下的
.rdl文件拷贝到本地任意目录(例如C:\Users\<user>\Documents\Custom Reports); - 打开 SSMS,在 Object Explorer 中右键单击服务器名称节点,选择“操作”区域下的 “自定义报表…”(Custom Reports);
- 在弹出的对话框中浏览并选择某个
.rdl文件(如ML Services - Configuration.rdl),首次加载时 SSMS 会提示报表中的脚本可能包含风险,确认后即可执行; - 报表运行时会弹出参数与数据源确认对话框(报表内数据源默认指向
.\SQL16或.\sql17等本地实例,若实例名不同,请在运行时改用“使用当前连接的服务器”选项或修改连接字符串); - 重复上述步骤把 8 个报表全部注册到服务器节点,即可在右键菜单中随时切换查看。
报表内部默认使用集成安全性(IntegratedSecurity=true)连接本地实例,因此只要你的 Windows 账号具备 SQL Server 权限即可直接使用。若希望在连接时动态绑定当前 Object Explorer 选中的服务器,可在加载对话框中选择以当前连接作为数据源。
报表逐一拆解:配置信息与实例配置
ML Services - Configuration.rdl:安装状态与运行时属性
这是整套报表的诊断入口,内部包含 5 个数据集,分别回答“功能是否装好”“外部脚本是否启用”“隐含认证是否就绪”“TCP 是否开放”“是否需要重启”等问题。
Feature_Settings 数据集的核心查询如下(节选自 ML Services - Configuration.rdl):
select CAST(SERVERPROPERTY('IsAdvancedAnalyticsInstalled') as int) as IsMLServicesInstalled
, CAST(value_in_use as int) as ExternalScriptsEnabled
, COALESCE(SIGN(SUSER_ID(CONCAT(CAST(SERVERPROPERTY('MachineName') as nvarchar(128))
, '\SQLRUserGroup'
, CAST(serverproperty('InstanceName') as nvarchar(128))))), 0) as ImpliedAuthenticationEnabled
, coalesce((select cast(r.value_data as int)
from sys.dm_server_registry as r
where r.registry_key like 'HKLM\Software\Microsoft\Microsoft SQL Server\%\SuperSocketNetLib\Tcp'
and r.value_name = 'Enabled'), -1) as IsTcpEnabled
from sys.configurations
where name = 'external scripts enabled';
这段查询展示了四个关键判定点的实现思路:
IsAdvancedAnalyticsInstalled:直接调用SERVERPROPERTY判断机器学习服务是否已随实例安装;ExternalScriptsEnabled:读取sys.configurations中external scripts enabled选项的value_in_use,该选项为 1 才允许执行外部脚本;ImpliedAuthenticationEnabled:机器学习服务依赖名为SQLRUserGroup的 Windows 账户组做回环认证(隐含认证),报表通过拼接MachineName\SQLRUserGroup<InstanceName>并调用SUSER_ID()检查对应登录是否存在;IsTcpEnabled:通过sys.dm_server_registry反查注册表中 TCP 协议是否启用(值为 -1 表示注册表项缺失,即 TCP 未启用)。
IsRestartRequired 数据集用异或运算对比配置值与生效值:
select (cast(value_in_use as int) ^ cast(value as int)) as IsRestartRequired
from sys.configurations
where name = 'external scripts enabled';
当 value(已配置值)与 value_in_use(正在生效值)不一致时,说明修改尚未生效,需要重启 SQL Server 服务——这正是 sp_configure 修改后最常见的状态提示。
R_Properties / Py_Properties 数据集则通过 sp_execute_external_script 直接向 R 和 Python 运行时询问自身属性。R 侧获取 R.version、Revo.version、MicrosoftML 版本,以及 R.home()、.libPaths()、defaultPackages;Python 侧通过 sys.executable、sys.version 和 pkg_resources 获取 Python.home、解释器版本、revoscalepy 与 microsoftml 包版本及 sys.path。两个数据集都会先校验“功能已安装 && 外部脚本已启用 && 语言至少执行过一次”,避免在未初始化环境上报错。
Runtimes 数据集最轻量:
select distinct language from sys.dm_external_script_execution_stats;
它返回实例上实际运行过的外部脚本语言(R / Python),用于在报表中展示“已安装运行时”清单。
ML Services - Configure Instance.rdl:安装后的“一键启用”
该报表承担 README 所述“用报表在安装后配置 Machine Learning Services”的职责,其核心命令如下(节选自 ML Services - Configure Instance.rdl):
exec sp_configure 'external scripts enabled', 1;
reconfigure with override;
declare @login_name nvarchar(255) = CONCAT(cast(SERVERPROPERTY('MachineName') as nvarchar(128)),
'\SQLRUserGroup',
CAST(serverproperty('InstanceName') as nvarchar(128)));
if SUSER_ID(@login_name) is null
begin
set @login_name = QUOTENAME(@login_name);
exec('create login ' + @login_name + ' from windows;');
end;
select 'Machine Learning Services has been configured for use. SQL Server service needs to be restarted!' as Message
这段脚本做了两件事:一是通过 sp_configure ... reconfigure with override 打开 external scripts enabled;二是检查并补建 SQLRUserGroup<Instance> 的 Windows 登录(隐含认证必需)。执行成功后报表返回提示信息:需要重启 SQL Server 服务后配置才能生效——与 Configuration 报表的 IsRestartRequired 判定互相呼应。
报表逐一拆解:包、资源与扩展事件
ML Services - Packages.rdl:R / Python 包清单
该报表分别查询 R 与 Python 两套包体系(节选自 ML Services - Packages.rdl)。
R 侧直接调用 installed.packages() 并输出包名、版本、依赖、许可证、构建版本与安装路径:
exec sp_execute_external_script
@language = N'R'
, @script = N'
OutputDataSet <- data.frame(installed.packages()[,c("Package", "Version", "Depends", "License", "Built", "LibPath")]);'
with result sets ((Package nvarchar(255), Version nvarchar(100), Depends nvarchar(4000),
License nvarchar(1000), Built nvarchar(100), LibPath nvarchar(2000)));
Python 侧则借助 pip 枚举已安装发行版:
import pip
OutputDataSet = pandas.DataFrame([(i.key, i.version, i.location) for i in pip.get_installed_distributions()])
报表以表格呈现包名、版本与位置。注意两个数据集都要求外部脚本已启用,其中 Python 侧额外要求 sys.dm_external_script_execution_stats 中存在 Python 语言的执行记录——首次执行 Python 脚本前,该报表的 Python 部分会为空。
ML Services - Resource Usage.rdl:CPU / 内存 / IO 与资源池
该报表从三个数据集交叉呈现资源视图(节选自 ML Services - Resource Usage.rdl)。
系统与内存总览来自 sys.dm_os_sys_info 与外部资源池的峰值内存:
select physical_memory_kb
, committed_kb
, (select sum(peak_memory_kb)
from sys.dm_resource_governor_external_resource_pools as ep
) as external_pool_peak_memory_kb
from sys.dm_os_sys_info;
资源池统计用 UNION ALL 合并 SQL Server 资源池与外部资源池的 CPU 与 IO 计数,其中 CPU 时间被换算为小时(毫秒除以 3600000):
select concat('SQL Server - ', p.name) as pool_name, p.total_cpu_usage_ms/60./60. as total_cpu_usage_hours, p.read_io_completed_total, p.write_io_completed_total
from sys.dm_resource_governor_resource_pools as p
union all
select concat('External Pool - ', ep.name) as pool_name, ep.total_cpu_user_ms/60./60., ep.read_io_count, ep.write_io_count
from sys.dm_resource_governor_external_resource_pools as ep;
内存上限查询 max server memory (MB) 配置并换算为占物理内存的百分比,再与外部资源池的 max_memory_percent 并列展示(当配置值为默认的 2147483647 时按 100% 计):
select 'SQL Server' as name
, case cast(c.value as bigint) when 2147483647 then 100
else (select physical_memory_kb from sys.dm_os_sys_info)/cast(c.value as bigint) end as max_memory_percent
from sys.configurations as c
where c.name like 'max server memory (MB)'
union all
select concat('External Pool - ', ep.name) as pool_name, ep.max_memory_percent
from sys.dm_resource_governor_external_resource_pools as ep;
报表主体以图表 + 表格的形式呈现这些指标,可直接用于观察外部脚本是否挤占了 SQL Server 的 CPU / 内存配额。
ML Services - Extended Events.rdl:SQLSatellite 扩展事件
机器学习服务的扩展事件由名为 SQLSatellite 的包提供,报表通过 sys.dm_xe_objects 与 sys.dm_xe_packages 关联查询(节选自 ML Services - Extended Events.rdl):
select o.name as event_name, o.description
from sys.dm_xe_objects o
join sys.dm_xe_packages p
on o.package_guid = p.guid
where o.object_type = 'event'
and p.name = 'SQLSatellite';
通过该报表可以快速掌握当前实例可用的事件名称与说明,作为后续手工创建扩展事件会话(CREATE EVENT SESSION)的选型依据。
报表逐一拆解:执行统计与活动会话
ML Services - Execution Statistics.rdl:外部脚本执行统计
该报表从两个维度统计执行情况(节选自 ML Services - Execution Statistics.rdl)。
维度一:sys.dm_external_script_execution_stats 提供按语言统计的 RevoScaleR / revoscalepy / microsoftml 函数调用计数:
select language, counter_name, counter_value
from sys.dm_external_script_execution_stats
where counter_value > 0
order by language, case counter_name when 'script_executions' then 1 end;
script_executions 计数代表脚本执行总次数,其余计数对应各高价值函数(如 rxLinMod 等)的调用次数,counter_value > 0 的过滤确保只展示有实际调用的项。
维度二:sys.dm_os_performance_counters 中 External Scripts 性能对象提供 SQL Server 层面的执行计数,且按实例名动态构造对象名(默认实例为 SQLServer,命名实例为 MSSQL$<InstanceName>):
select rtrim(counter_name) as counter_name, cntr_value as counter_value
from sys.dm_os_performance_counters
where object_name like concat(case when serverproperty('InstanceName') is null
then 'SQLServer'
else concat('MSSQL$', cast(serverproperty('InstanceName') as varchar(60)))
end, ':External Scripts%');
两者结合可同时回答“脚本共执行多少次”“哪些 RevoScaleR 函数最频繁”以及“当前实例的外部脚本性能计数器数值”。
ML Services - Active Sessions.rdl:正在运行的外部脚本会话
该报表把 sys.dm_exec_requests、sys.dm_external_script_requests 与 sys.dm_exec_sessions 三表关联,实时呈现外部脚本请求(节选自 ML Services - Active Sessions.rdl):
select r.session_id, r.blocking_session_id, r.status
, db_name(s.database_id) as database_name, s.login_name
, r.wait_time, r.wait_type, r.last_wait_type
, r.total_elapsed_time, r.reads, r.logical_reads, r.writes
, er.language as script_type, er.degree_of_parallelism, er.external_user_name
from sys.dm_exec_requests as r
join sys.dm_external_script_requests as er
on r.external_script_request_id = er.external_script_request_id
join sys.dm_exec_sessions as s
on s.session_id = r.session_id;
报表展示会话 ID、阻塞会话、状态、数据库、登录名、等待类型与等待时间、总耗时、读写次数、脚本语言(R / Python)、并行度以及外部用户身份。当外部脚本出现“跑不完”或“互相阻塞”的异常时,这张报表就是第一手的定位工具。
一个值得复用的设计:报表内嵌“查看脚本”钻取
在 ML Services - Configuration.rdl、ML Services - Packages.rdl、ML Services - Resource Usage.rdl、ML Services - Execution Statistics.rdl、ML Services - Active Sessions.rdl 和 ML Services - Extended Events.rdl 中,报表底部都带有一个钻取(Drillthrough)动作,其参数把报表内所有数据集的 CommandText 以 go 分隔符拼接后传给 Script 报表,例如:
=DataSets("Feature_Settings").CommandText & chr(13) & chr(10) & "go" & ...
这意味着每张报表都能一键跳转到“底层脚本原文”,让 DBA 既能看到结果,也能复制出可独立执行的 T-SQL 用于脚本化巡检或二次开发。这也为读者提供了直接学习这些 DMV 用法的现成教材。
报表背后依赖的核心系统视图一览
整套报表的本质,是把机器学习服务的运行信息从以下系统对象中“读”出来。理解这张表,即可脱离报表自行编写监控脚本:
| 系统对象 | 报表用途 |
|---|---|
sys.configurations(external scripts enabled) |
判断外部脚本是否启用、是否需要重启 |
SERVERPROPERTY('IsAdvancedAnalyticsInstalled') |
判断机器学习服务是否安装 |
sys.dm_server_registry |
反查 TCP 协议是否启用 |
sys.dm_external_script_execution_stats |
按语言统计脚本执行次数与 RevoScaleR 函数调用 |
sys.dm_external_script_requests |
正在执行的外部脚本请求(语言、并行度、外部用户) |
sys.dm_exec_requests / sys.dm_exec_sessions |
会话级等待、耗时、IO 与登录信息 |
sys.dm_os_sys_info |
物理内存、已提交内存 |
sys.dm_resource_governor_resource_pools / sys.dm_resource_governor_external_resource_pools |
SQL Server 与外部资源池的 CPU / IO / 内存配额与峰值 |
sys.dm_os_performance_counters(External Scripts 对象) |
外部脚本性能计数器 |
sys.dm_xe_objects / sys.dm_xe_packages(SQLSatellite 包) |
机器学习服务扩展事件清单 |
使用注意事项与故障排查提示
根据报表源码中的条件分支,可以总结出以下容易被忽略的边界行为:
- 功能未启用时报表为空:R / Python 属性与包清单数据集都要求
IsAdvancedAnalyticsInstalled = 1且external scripts enabled的value_in_use = 1,否则不执行任何查询。若报表内容为空,请先用 ML Services - Configure Instance.rdl 启用功能并重启服务; - “首跑”前置条件:
sys.dm_external_script_execution_stats只有在某个语言至少成功执行过一次脚本后才会写入记录,因此全新实例上 Python 相关数据集可能暂时为空; - 配置修改需重启:
external scripts enabled的配置值与生效值不一致时,Configuration 报表的IsRestartRequired会置位,此时必须重启 SQL Server 服务; - 隐含认证依赖登录存在:若
SQLRUserGroup<Instance>登录缺失,外部脚本执行会失败,Configure Instance 报表会以动态 SQL 补建该 Windows 登录; - 数据源与实例名:
.rdl默认连接字符串形如Data Source=.\SQL16(Configuration)或Data Source=.\sql17(Packages),在非默认实例上加载时请选择“使用当前连接”或手动修改连接字符串; - 安全提示:SSMS 加载自定义报表时会提示脚本内容风险,请确认报表来源可信后再执行;报表使用集成身份连接,实际权限取决于运行 SSMS 的账号。
延伸阅读与仓库内的配套资源
除了本示例,仓库的机器学习服务目录下还有更多可搭配使用的材料:
- python 示例:Machine Learning Services 的 Python 入门与实操 SQL 脚本;
- r 示例:R 语言相关的示例脚本;
- ssms-custom-reports/README.md:本示例的原始说明文档(含适用范围、作者与更新历史)。
如果想把这套报表能力扩展到日常巡检自动化,可以直接复制各报表的 CommandText 查询,封装为存储过程或计划任务;所有查询均为纯 T-SQL/DMV 读取,除 Configure Instance 报表外不做任何写入操作,可以放心用于生产环境的只读诊断。