Data-Science-For-Beginners 作业实战:在 Azure ML 上完成 Low code/No code 数据科学项目全流程(数据准备 · AutoML 训练 · 模型部署 · 端点消费)
Data-Science-For-Beginners 作业实战:在 Azure ML 上完成 Low code/No code 数据科学项目全流程(数据准备 · AutoML 训练 · 模型部署 · 端点消费)
本指南围绕 Data-Science-For-Beginners 课程第 18 课("Data Science in the Cloud: The Low code/No code way")的课后作业展开,该作业要求学习者不写代码或只写极少代码,独立完成"训练 → 部署 → 消费"一个完整机器学习模型的全流程。读完本文,你将掌握如何选择与清洗数据集、在 Azure ML Studio 中上传数据并校准特征类型、通过 AutoML 训练并解读模型、将最佳模型部署为 REST 端点并用 Python 脚本消费它,同时理解课程评分标准中"优秀 / 可接受 / 需要改进"三个等级各自的达标要求,从而有针对性地完成并提交作业。
一、作业任务解读:目标、边界与数据来源
我们已经看到了如何使用 Azure ML 平台,以 Low code/No code 的方式训练、部署并消费一个模型。现在,请你寻找一些数据,用来训练另一个模型,部署它并消费它。你可以在 Kaggle 和 Azure Open Datasets 上寻找数据集。
拆解这条指令,作业本质上要求你复现第 18 课完整教程中示范过的那套流程,但把"心力衰竭预测"示例替换为你自己找到的数据集。课程教程位于 5-Data-Science-In-Cloud/18-Low-Code/README.md(阿拉伯语版),其中以 Kaggle 公开的 Heart Failure Clinical Data 为例,完整演示了从创建工作区到消费端点的每一步,是完成作业时最重要的参照物。
作业允许的两个数据来源:
- Kaggle:适合寻找各类结构化、带明确预测目标的经典数据集(分类、回归问题皆可);
- Azure Open Datasets:微软 Azure 官方开放的公开数据集目录,覆盖人口、天气、经济等多类领域,可直接对接 Azure 生态。
选择数据集时建议优先考虑表格型(tabular)数据,因为 Low code/No code 的 AutoML 界面最擅长处理这类数据,且特征类型(数值 / 布尔 / 类别)可以在上传时直接校准,便于满足评分标准中的要求。
二、评分标准(Rubric)与达标路径
作业的核心评价标准是一张三级量表,这是提交作业时必须逐条对照的检查清单。下面完整呈现并逐级解读:
| 等级 | 要求 |
|---|---|
| 优秀(Exemplary) | 上传数据时,在必要时修改了特征的类型;在必要时对数据进行了清洗;通过 AutoML 对数据集运行了训练;检查了模型解释(explanations);部署了最佳模型,并成功消费了它。 |
| 可接受(Adequate) | 上传数据时,在必要时修改了特征的类型;通过 AutoML 对数据集运行了训练;部署了最佳模型,并成功消费了它。 |
| 需要改进(Needs Improvement) | 部署了 AutoML 训练出的最佳模型,并成功消费了它。 |
从这条量表可以提炼出完整的"达标路径",也即作业的隐式步骤清单:
- 数据上传与特征工程("优秀"与"可接受"均要求):上传时按需修改特征类型,必要时清洗数据;
- AutoML 训练("优秀"与"可接受"均要求):在 Azure ML Studio 中基于你的数据集运行一次 AutoML 实验;
- 模型解释检查(仅"优秀"要求):查看 AutoML 生成的模型解释,理解特征如何影响预测;
- 模型部署(三个等级均要求):把最佳模型部署为 Web 服务;
- 端点消费(三个等级均要求):调用 REST 端点并得到真实的预测结果。
换言之,完成部署与消费是作业的及格线,而"特征类型修改 + 数据清洗 + 模型解释"是冲刺"优秀"等级的关键增量。后续章节将按这条路径逐项展开。
三、核心知识准备:Azure ML 与 Low code/No code 两种工作方式
在动手之前,需要先理解作业依托的平台。Azure Machine Learning 是基于 Azure 云的机器学习平台,帮助数据科学家完成数据准备、模型训练、预测服务发布与用量监控,并通过自动化与弹性算力降低模型开发的时间成本。它提供的工具中,与本作业直接相关的是:
- Azure Machine Learning Studio:Web 门户,提供 Low code/No code 的模型训练、部署、自动化、跟踪与资产管理能力,并与 Azure ML SDK 无缝集成;
- Automated machine learning(AutoML)界面:自动化模型开发中耗时、迭代性的任务,在保持模型质量的同时以高规模、高效率构建 ML 模型。
课程中展示的 项目架构示意图 清晰地对比了完成同一个项目的两种路径——Low code/No code 与 Azure ML SDK,两者都遵循"数据集 → AutoML 训练 → 最佳模型 → 部署 → 消费端点"的一致流程:
课程给出了两条路径的取舍对照,这也解释了作业为什么强制要求"Low code/No code"方式:
| 维度 | Low code/No code | Azure ML SDK |
|---|---|---|
| 代码能力要求 | 不需要 | 需要 |
| 开发时间 | 快速、简单 | 取决于代码熟练度 |
| 生产就绪 | 否 | 是 |
Low code/No code 适合快速验证项目可行性与搭建概念验证(POC);而当项目需要生产化、需要以编程方式自动化"从资源创建到模型部署"的整个过程时,则应转向 SDK 方式(可参考第 19 课 Azure ML SDK 教程 及其 notebook 作为进阶参照)。本作业聚焦前者。
课程使用的参考项目——心力衰竭预测——是理解整个流程的最佳样例:数据集为 13 列(12 个特征 + 1 个目标变量)、299 行的表格数据,目标变量 DEATH_EVENT 为布尔类型。下表是其特征构成,可作为你自行选数时判断"特征类型是否需要修改"的范本:
| 变量名 | 类型 | 说明 |
|---|---|---|
| age | 数值 | 患者年龄 |
| anaemia | 布尔 | 是否存在红细胞或血红蛋白减少 |
| creatinine_phosphokinase | 数值 | 血液中 CPK 酶水平 |
| diabetes | 布尔 | 患者是否患糖尿病 |
| ejection_fraction | 数值 | 每次收缩时离开心脏的血液百分比 |
| high_blood_pressure | 布尔 | 患者是否患高血压 |
| platelets | 数值 | 血液中的血小板数 |
| serum_creatinine | 数值 | 血液中血清肌酐水平 |
| serum_sodium | 数值 | 血液中血清钠水平 |
| sex | 布尔 | 性别 |
| smoking | 布尔 | 患者是否吸烟 |
| time | 数值 | 随访期(天) |
| DEATH_EVENT(目标) | 布尔 | 随访期内患者是否死亡 |
四、第 1 步:选择并准备数据集
选数:在 Kaggle 或 Azure Open Datasets 中寻找一份带明确预测目标的表格数据。建议选择二分类或回归问题(如客户流失、房价预测、疾病诊断等),因为 AutoML 界面对这类任务的配置最直接(只需指定目标列与任务类型)。
数据清洗(对应评分标准"优秀"等级中的要求):在把数据上传到 Azure ML 之前,先在本地完成必要的预处理,例如:
- 处理缺失值(删除或填充);
- 删除明显冗余的列(如 ID 列、重复特征);
- 纠正明显异常值;
- 确保布尔特征使用统一的 0/1 或 true/false 编码,类别特征使用一致的字符串表示。
清洗操作可以在本地用任意工具完成(如 Excel、Jupyter Notebook),也可以在 Azure ML 中通过后续的 Schema 配置做类型校准。课程教程(5-Data-Science-In-Cloud/18-Low-Code/README.md)特别提醒:只要 Azure ML 工作区存在于订阅中,就会产生少量数据存储费用,因此建议在正式投入前规划好实验范围。
五、第 2 步:搭建 Azure ML 工作环境(工作区 + 计算资源)
5.1 创建 Azure ML 工作区
工作区(Workspace)是 Azure Machine Learning 的顶层资源,集中管理所有训练产物——包括每次训练运行的日志、指标、输出和脚本快照,你可以据此判断哪次运行产出了最佳模型。创建步骤(详见教程):
- 使用与 Azure 订阅关联的 Microsoft 凭据登录 Azure 门户,选择"+创建资源",搜索 Machine Learning 并选择对应条目;
- 填写设置:订阅、资源组、唯一的工作区名称、就近的区域,以及默认新建的存储账户、Key Vault、Application Insights;容器注册表(Container registry)保持 None(首次将模型部署到容器时系统会自动创建);
- 等待工作区创建完成后,在门户中进入该工作区,启动 Azure Machine Learning Studio(或直接访问 ml.azure.com),登录后选择正确的目录、订阅与工作区;
- 在 Studio 中通过左上角 ☰ 图标展开各管理页面。
5.2 计算资源:类型与选型
计算资源是承载模型训练与数据探索的云端资源,共四类:
- Compute Instances(计算实例):数据科学家的开发工作站,本质是虚拟机 + Notebook 实例;
- Compute Clusters(计算集群):按需处理实验代码的可伸缩 VM 集群,训练模型时必需,可选用 CPU 或 GPU;
- Inference Clusters(推理集群):使用已训练模型的预测服务部署目标;
- Attached Compute(附加计算):关联已有的 Azure 计算资源(如 VM、Azure Databricks 集群)。
创建计算资源时有四个关键决策:
- CPU 还是 GPU:CPU 擅长快速处理广泛任务但并发受限;GPU 专为并行计算设计,更适合深度学习。对于作业所用的中小型表格数据,CPU 通常足够,成本也更低;
- 集群大小:大集群更贵但响应更快——时间充裕预算有限就从小集群起步,反之则用大集群;
- VM 规格:内存、磁盘、核数与主频越高性能越好,但成本同步上升;
- 专用实例还是低优先级实例:低优先级(可中断)实例更便宜,但 Azure 可能随时回收资源以让位给其他任务;专用(不可中断)实例则保证任务不会未经许可被终止。
5.3 创建计算集群
在 Studio 中点击 Compute → Compute cluster 选项卡 → "+ New" 新建集群:
- 选择 Dedicated/Low priority、CPU/GPU、VM 规格与核数(作业可直接使用默认设置);
- 命名集群,配置最小/最大节点数、缩容前的空闲秒数、SSH 访问等参数。最小节点数设为 0 可在集群空闲时省钱;最大节点数越高训练越快,教程建议最大节点数不超过 3;
- 点击 Create,等待数分钟创建完成。
六、第 3 步:上传数据并校准特征类型
数据集准备完成后,将其载入 Azure ML Studio:
- 左侧菜单点击 Datasets → "+ Create dataset" → 选择 From local files,选中你准备好的本地数据文件;
- 为数据集命名、指定类型并填写描述,然后上传文件;
- 进入 Schema 步骤,这里会自动检测每一列的数据类型,而你需要在必要时手动修改——这正是评分标准中"改变特征的类型"所指的操作。
以课程示例的心力衰竭数据集为例,需将 anaemia、diabetes、high_blood_pressure、sex、smoking、DEATH_EVENT 这 6 个二值特征的数据类型改为 Boolean,因为 AutoML 需要正确的特征语义才能合理建模。下图即课程中数据集 Schema 配置界面的真实截屏,左侧为创建流程步骤(Basic info → Datastore → Settings → Schema → Confirm details),右侧展示了各特征被自动检测出的类型(Decimal、Boolean、Integer 等)及可修改的格式选项:
确认 Schema 无误后点击 Next → Create,数据集即完成注册。这一步骤完成质量直接决定"优秀"与"可接受"等级的差别:认真校准每个特征的类型(并顺带完成缺失数据清洗),是拿到高分的第一个加分项。
七、第 4 步:使用 AutoML 训练模型
AutoML 将传统上"需反复试错、逐个比较数十个模型"的过程自动化:数据科学家、分析师和开发者只需给出数据与目标,AutoML 便以高规模、高效率自动搜索并训练候选模型,同时保持模型质量。
在 Studio 中:
- 左侧菜单点击 Automated ML,选择刚上传的数据集,点击 Next;
- 输入新的实验名称,指定目标列(target column),选择之前创建的计算集群,点击 Next;
- 选择任务类型 Classification(若你的目标是回归问题则选择 Regression),点击 Finish 启动实验;
- 实验运行时间取决于计算集群规模,课程教程给出的参考区间为 30 分钟到 1 小时;
- 运行完成后,进入 Automated ML 选项卡,点击本次运行,再点击"Best model summary"卡片中的算法,即可查看 AutoML 生成的最佳模型的详细描述;也可在 Models 选项卡中浏览其他候选模型。
八、第 5 步:检查模型解释(冲击"优秀"等级的关键)
这是评分标准中"优秀"等级独有的一项要求:检查模型解释(Explanations)。在最佳模型详情页点击 "Explanations (preview)" 按钮,可以看到特征对预测结果的影响程度与方向,从而回答如下问题(这也是课程结尾 Challenge 部分提出的思考题):
- 最佳模型为什么优于其他候选模型?
- AutoML 比较了哪些算法?它们之间的差异是什么?
- 在该数据场景下,为什么这个算法表现最好?
通过模型解释,你可以验证模型的决策是否符合领域常识(例如对心脏病数据,ejection_fraction 等医学指标是否被赋予较高权重),这既是作业加分项,也是把"跑通流程"升华为"理解建模"的核心练习。该部分与课程 13 节《有意义的可视化》 强调的"解释性优先"理念一脉相承。
九、第 6 步:部署最佳模型
AutoML 界面允许在几步之内将最佳模型部署为 Web 服务。在本项目中,"部署为 Web 服务"意味着医疗类应用能够实时调用模型,评估患者发生心衰的风险。
在最佳模型详情页点击 Deploy:
- 填写部署名称与描述;
- 计算类型选择 Azure Container Instance(ACI);
- 启用身份验证(Enable authentication)(这决定端点是否需要 API Key);
- 点击 Deploy,整个过程约 20 分钟,期间可周期性点击 Refresh 查看"Deploy status",当状态变为 "Healthy" 时表示部署完成、服务已运行。
部署完成后,进入 Endpoint 选项卡并点击刚部署的端点,即可查看端点的全部详细信息(REST URL、密钥、Swagger 文档等)。
十、第 7 步:消费 REST 端点并验证预测
点击端点页面的 Consume 选项卡,可以看到 REST 端点地址与一段可直接在本机运行的 Python 消费脚本,脚本的核心是两个变量:
url = 'http://98e3715f-xxxx-xxxx-xxxx-9ec22d57b796.centralus.azurecontainer.io/score'
api_key = '' # Replace this with the API key for the web service
其中 url 即 Consume 页签中的 REST 端点,api_key 是该页签中的主密钥(仅当你部署时启用了身份验证才需要填写)。下图即为课程中端点 Consume 页签的真实界面,左侧是 Basic consumption info(REST endpoint 与 Primary/Secondary key),右侧是可选的 Python 消费脚本:
直接运行脚本,会看到如下输出:
b'"{\\"result\\": [true]}"'
这表示对给定数据预测的"心衰风险"为 true。原因在于脚本自动生成的示例数据全部为 0 / false(即所有特征取值均为最低风险水平),模型对"一切正常"的样本却给出风险判断,逻辑上并不合理——因此需要用真实且有区分度的样本替换数据来验证模型行为。将脚本中的 data 替换为如下两组输入:
data = {
"data":
[
{
'age': "0",
'anaemia': "false",
'creatinine_phosphokinase': "0",
'diabetes': "false",
'ejection_fraction': "0",
'high_blood_pressure': "false",
'platelets': "0",
'serum_creatinine': "0",
'serum_sodium': "0",
'sex': "false",
'smoking': "false",
'time': "0",
},
{
'age': "60",
'anaemia': "false",
'creatinine_phosphokinase': "500",
'diabetes': "false",
'ejection_fraction': "38",
'high_blood_pressure': "false",
'platelets': "260000",
'serum_creatinine': "1.40",
'serum_sodium': "137",
'sex': "false",
'smoking': "false",
'time': "130",
},
],
}
第一条记录为"全 0"的极端样本,第二条记录则接近真实临床患者(60 岁、CPK 酶 500、射血分数 38%、血小板 26 万、肌酐 1.40、钠 137、随访 130 天)。再次运行脚本,应得到两组不同的预测结果:
b'"{\\"result\\": [true, false]}"'
两条记录被分别判定为"有风险 / 无风险",说明模型确实依据输入特征产生了差异化预测——至此,你已完成"训练 → 部署 → 消费"的完整闭环。需要强调的是,这里的特征名与取值格式必须与你上传的数据集保持一致,若使用你自己的数据集,请将字段替换为对应特征。
十一、提交前自检清单
对照作业评分标准,在提交前逐项自查:
- [ ] 上传数据时,是否在 Schema 中按需将特征类型(如布尔、类别)校准正确?(优秀 / 可接受必需)
- [ ] 数据是否完成了必要的清洗(缺失值、异常值、冗余列)?(优秀)
- [ ] 是否通过 AutoML 对数据集运行了一次完整训练?(优秀 / 可接受必需)
- [ ] 是否查看了 AutoML 生成的模型解释,并能说明最佳模型优于其他候选的原因?(优秀)
- [ ] 是否部署了最佳模型,且端点状态为 "Healthy"?(三个等级均必需)
- [ ] 是否用本机 Python 脚本成功消费了端点,并返回了预期的预测结果(而非默认的全 0 样本结果)?(三个等级均必需)
十二、成本提示与资源清理
课程教程与作业均特别强调:Azure ML 工作区存续期间会产生存储费用,项目结束后请务必删除全部相关资源(工作区及其关联的存储账户、Key Vault、Application Insights、计算集群与已部署端点),避免产生持续账单。这也是"负责任地使用云资源"这一课程理念(参见 第 2 课《数据科学伦理》)在实操层面的体现。
总结
本作业的本质是一次"以用户自己的数据集为对象、全程低代码"的端到端实践:选数 → 清洗与类型校准 → AutoML 训练 → 解释模型 → 部署 → 消费。以 第 18 课完整教程 为操作手册、以 评分标准 为验收清单,只要完整走通"部署 + 消费"即达合格线,再补上特征类型校准、数据清洗与模型解释即可冲击"优秀"等级。若想进一步探索代码化路径,可继续学习 第 19 课:Azure ML SDK 方式,对比两种方式在资源自动化与生产就绪性上的差异。