Data-Science-For-Beginners 作业实战:在 Azure ML 上完成 Low code/No code 数据科学项目全流程(数据准备 · AutoML 训练 · 模型部署 · 端点消费)

原创2026-09-09 23:49:43964 阅读
文章标签:示例工程教育数据科学数据分析数据可视化教程

Data-Science-For-Beginners 作业实战:在 Azure ML 上完成 Low code/No code 数据科学项目全流程(数据准备 · AutoML 训练 · 模型部署 · 端点消费)

本指南围绕 Data-Science-For-Beginners 课程第 18 课("Data Science in the Cloud: The Low code/No code way")的课后作业展开,该作业要求学习者不写代码或只写极少代码,独立完成"训练 → 部署 → 消费"一个完整机器学习模型的全流程。读完本文,你将掌握如何选择与清洗数据集、在 Azure ML Studio 中上传数据并校准特征类型、通过 AutoML 训练并解读模型、将最佳模型部署为 REST 端点并用 Python 脚本消费它,同时理解课程评分标准中"优秀 / 可接受 / 需要改进"三个等级各自的达标要求,从而有针对性地完成并提交作业。

一、作业任务解读:目标、边界与数据来源

作业原文(英文版、阿拉伯语翻译版)给出的指令非常明确:

我们已经看到了如何使用 Azure ML 平台,以 Low code/No code 的方式训练、部署并消费一个模型。现在,请你寻找一些数据,用来训练另一个模型,部署它并消费它。你可以在 Kaggle 和 Azure Open Datasets 上寻找数据集。

拆解这条指令,作业本质上要求你复现第 18 课完整教程中示范过的那套流程,但把"心力衰竭预测"示例替换为你自己找到的数据集。课程教程位于 5-Data-Science-In-Cloud/18-Low-Code/README.md(阿拉伯语版),其中以 Kaggle 公开的 Heart Failure Clinical Data 为例,完整演示了从创建工作区到消费端点的每一步,是完成作业时最重要的参照物。

作业允许的两个数据来源:

  • Kaggle:适合寻找各类结构化、带明确预测目标的经典数据集(分类、回归问题皆可);
  • Azure Open Datasets:微软 Azure 官方开放的公开数据集目录,覆盖人口、天气、经济等多类领域,可直接对接 Azure 生态。

选择数据集时建议优先考虑表格型(tabular)数据,因为 Low code/No code 的 AutoML 界面最擅长处理这类数据,且特征类型(数值 / 布尔 / 类别)可以在上传时直接校准,便于满足评分标准中的要求。

二、评分标准(Rubric)与达标路径

作业的核心评价标准是一张三级量表,这是提交作业时必须逐条对照的检查清单。下面完整呈现并逐级解读:

等级 要求
优秀(Exemplary) 上传数据时,在必要时修改了特征的类型;在必要时对数据进行了清洗;通过 AutoML 对数据集运行了训练;检查了模型解释(explanations);部署了最佳模型,并成功消费了它。
可接受(Adequate) 上传数据时,在必要时修改了特征的类型;通过 AutoML 对数据集运行了训练;部署了最佳模型,并成功消费了它。
需要改进(Needs Improvement) 部署了 AutoML 训练出的最佳模型,并成功消费了它。

从这条量表可以提炼出完整的"达标路径",也即作业的隐式步骤清单:

  1. 数据上传与特征工程("优秀"与"可接受"均要求):上传时按需修改特征类型,必要时清洗数据;
  2. AutoML 训练("优秀"与"可接受"均要求):在 Azure ML Studio 中基于你的数据集运行一次 AutoML 实验;
  3. 模型解释检查(仅"优秀"要求):查看 AutoML 生成的模型解释,理解特征如何影响预测;
  4. 模型部署(三个等级均要求):把最佳模型部署为 Web 服务;
  5. 端点消费(三个等级均要求):调用 REST 端点并得到真实的预测结果。

换言之,完成部署与消费是作业的及格线,而"特征类型修改 + 数据清洗 + 模型解释"是冲刺"优秀"等级的关键增量。后续章节将按这条路径逐项展开。

三、核心知识准备:Azure ML 与 Low code/No code 两种工作方式

在动手之前,需要先理解作业依托的平台。Azure Machine Learning 是基于 Azure 云的机器学习平台,帮助数据科学家完成数据准备、模型训练、预测服务发布与用量监控,并通过自动化与弹性算力降低模型开发的时间成本。它提供的工具中,与本作业直接相关的是:

  • Azure Machine Learning Studio:Web 门户,提供 Low code/No code 的模型训练、部署、自动化、跟踪与资产管理能力,并与 Azure ML SDK 无缝集成;
  • Automated machine learning(AutoML)界面:自动化模型开发中耗时、迭代性的任务,在保持模型质量的同时以高规模、高效率构建 ML 模型。

课程中展示的 项目架构示意图 清晰地对比了完成同一个项目的两种路径——Low code/No code 与 Azure ML SDK,两者都遵循"数据集 → AutoML 训练 → 最佳模型 → 部署 → 消费端点"的一致流程:

Azure ML 中 Low code/No code 与 Azure ML SDK 两条项目路径的架构对比示意图

课程给出了两条路径的取舍对照,这也解释了作业为什么强制要求"Low code/No code"方式:

维度 Low code/No code Azure ML SDK
代码能力要求 不需要 需要
开发时间 快速、简单 取决于代码熟练度
生产就绪 否 是

Low code/No code 适合快速验证项目可行性与搭建概念验证(POC);而当项目需要生产化、需要以编程方式自动化"从资源创建到模型部署"的整个过程时,则应转向 SDK 方式(可参考第 19 课 Azure ML SDK 教程 及其 notebook 作为进阶参照)。本作业聚焦前者。

课程使用的参考项目——心力衰竭预测——是理解整个流程的最佳样例:数据集为 13 列(12 个特征 + 1 个目标变量)、299 行的表格数据,目标变量 DEATH_EVENT 为布尔类型。下表是其特征构成,可作为你自行选数时判断"特征类型是否需要修改"的范本:

变量名 类型 说明
age 数值 患者年龄
anaemia 布尔 是否存在红细胞或血红蛋白减少
creatinine_phosphokinase 数值 血液中 CPK 酶水平
diabetes 布尔 患者是否患糖尿病
ejection_fraction 数值 每次收缩时离开心脏的血液百分比
high_blood_pressure 布尔 患者是否患高血压
platelets 数值 血液中的血小板数
serum_creatinine 数值 血液中血清肌酐水平
serum_sodium 数值 血液中血清钠水平
sex 布尔 性别
smoking 布尔 患者是否吸烟
time 数值 随访期(天)
DEATH_EVENT(目标) 布尔 随访期内患者是否死亡

四、第 1 步:选择并准备数据集

选数:在 Kaggle 或 Azure Open Datasets 中寻找一份带明确预测目标的表格数据。建议选择二分类或回归问题(如客户流失、房价预测、疾病诊断等),因为 AutoML 界面对这类任务的配置最直接(只需指定目标列与任务类型)。

数据清洗(对应评分标准"优秀"等级中的要求):在把数据上传到 Azure ML 之前,先在本地完成必要的预处理,例如:

  • 处理缺失值(删除或填充);
  • 删除明显冗余的列(如 ID 列、重复特征);
  • 纠正明显异常值;
  • 确保布尔特征使用统一的 0/1 或 true/false 编码,类别特征使用一致的字符串表示。

清洗操作可以在本地用任意工具完成(如 Excel、Jupyter Notebook),也可以在 Azure ML 中通过后续的 Schema 配置做类型校准。课程教程(5-Data-Science-In-Cloud/18-Low-Code/README.md)特别提醒:只要 Azure ML 工作区存在于订阅中,就会产生少量数据存储费用,因此建议在正式投入前规划好实验范围。

五、第 2 步:搭建 Azure ML 工作环境(工作区 + 计算资源)

5.1 创建 Azure ML 工作区

工作区(Workspace)是 Azure Machine Learning 的顶层资源,集中管理所有训练产物——包括每次训练运行的日志、指标、输出和脚本快照,你可以据此判断哪次运行产出了最佳模型。创建步骤(详见教程):

  1. 使用与 Azure 订阅关联的 Microsoft 凭据登录 Azure 门户,选择"+创建资源",搜索 Machine Learning 并选择对应条目;
  2. 填写设置:订阅、资源组、唯一的工作区名称、就近的区域,以及默认新建的存储账户、Key Vault、Application Insights;容器注册表(Container registry)保持 None(首次将模型部署到容器时系统会自动创建);
  3. 等待工作区创建完成后,在门户中进入该工作区,启动 Azure Machine Learning Studio(或直接访问 ml.azure.com),登录后选择正确的目录、订阅与工作区;
  4. 在 Studio 中通过左上角 ☰ 图标展开各管理页面。

5.2 计算资源:类型与选型

计算资源是承载模型训练与数据探索的云端资源,共四类:

  • Compute Instances(计算实例):数据科学家的开发工作站,本质是虚拟机 + Notebook 实例;
  • Compute Clusters(计算集群):按需处理实验代码的可伸缩 VM 集群,训练模型时必需,可选用 CPU 或 GPU;
  • Inference Clusters(推理集群):使用已训练模型的预测服务部署目标;
  • Attached Compute(附加计算):关联已有的 Azure 计算资源(如 VM、Azure Databricks 集群)。

创建计算资源时有四个关键决策:

  • CPU 还是 GPU:CPU 擅长快速处理广泛任务但并发受限;GPU 专为并行计算设计,更适合深度学习。对于作业所用的中小型表格数据,CPU 通常足够,成本也更低;
  • 集群大小:大集群更贵但响应更快——时间充裕预算有限就从小集群起步,反之则用大集群;
  • VM 规格:内存、磁盘、核数与主频越高性能越好,但成本同步上升;
  • 专用实例还是低优先级实例:低优先级(可中断)实例更便宜,但 Azure 可能随时回收资源以让位给其他任务;专用(不可中断)实例则保证任务不会未经许可被终止。

5.3 创建计算集群

在 Studio 中点击 Compute → Compute cluster 选项卡 → "+ New" 新建集群:

  1. 选择 Dedicated/Low priority、CPU/GPU、VM 规格与核数(作业可直接使用默认设置);
  2. 命名集群,配置最小/最大节点数、缩容前的空闲秒数、SSH 访问等参数。最小节点数设为 0 可在集群空闲时省钱;最大节点数越高训练越快,教程建议最大节点数不超过 3;
  3. 点击 Create,等待数分钟创建完成。

六、第 3 步:上传数据并校准特征类型

数据集准备完成后,将其载入 Azure ML Studio:

  1. 左侧菜单点击 Datasets → "+ Create dataset" → 选择 From local files,选中你准备好的本地数据文件;
  2. 为数据集命名、指定类型并填写描述,然后上传文件;
  3. 进入 Schema 步骤,这里会自动检测每一列的数据类型,而你需要在必要时手动修改——这正是评分标准中"改变特征的类型"所指的操作。

以课程示例的心力衰竭数据集为例,需将 anaemia、diabetes、high_blood_pressure、sex、smoking、DEATH_EVENT 这 6 个二值特征的数据类型改为 Boolean,因为 AutoML 需要正确的特征语义才能合理建模。下图即课程中数据集 Schema 配置界面的真实截屏,左侧为创建流程步骤(Basic info → Datastore → Settings → Schema → Confirm details),右侧展示了各特征被自动检测出的类型(Decimal、Boolean、Integer 等)及可修改的格式选项:

Azure ML 数据集 Schema 界面中按特征修改数据类型的配置截屏

确认 Schema 无误后点击 Next → Create,数据集即完成注册。这一步骤完成质量直接决定"优秀"与"可接受"等级的差别:认真校准每个特征的类型(并顺带完成缺失数据清洗),是拿到高分的第一个加分项。

七、第 4 步:使用 AutoML 训练模型

AutoML 将传统上"需反复试错、逐个比较数十个模型"的过程自动化:数据科学家、分析师和开发者只需给出数据与目标,AutoML 便以高规模、高效率自动搜索并训练候选模型,同时保持模型质量。

在 Studio 中:

  1. 左侧菜单点击 Automated ML,选择刚上传的数据集,点击 Next;
  2. 输入新的实验名称,指定目标列(target column),选择之前创建的计算集群,点击 Next;
  3. 选择任务类型 Classification(若你的目标是回归问题则选择 Regression),点击 Finish 启动实验;
  4. 实验运行时间取决于计算集群规模,课程教程给出的参考区间为 30 分钟到 1 小时;
  5. 运行完成后,进入 Automated ML 选项卡,点击本次运行,再点击"Best model summary"卡片中的算法,即可查看 AutoML 生成的最佳模型的详细描述;也可在 Models 选项卡中浏览其他候选模型。

八、第 5 步:检查模型解释(冲击"优秀"等级的关键)

这是评分标准中"优秀"等级独有的一项要求:检查模型解释(Explanations)。在最佳模型详情页点击 "Explanations (preview)" 按钮,可以看到特征对预测结果的影响程度与方向,从而回答如下问题(这也是课程结尾 Challenge 部分提出的思考题):

  • 最佳模型为什么优于其他候选模型?
  • AutoML 比较了哪些算法?它们之间的差异是什么?
  • 在该数据场景下,为什么这个算法表现最好?

通过模型解释,你可以验证模型的决策是否符合领域常识(例如对心脏病数据,ejection_fraction 等医学指标是否被赋予较高权重),这既是作业加分项,也是把"跑通流程"升华为"理解建模"的核心练习。该部分与课程 13 节《有意义的可视化》 强调的"解释性优先"理念一脉相承。

九、第 6 步:部署最佳模型

AutoML 界面允许在几步之内将最佳模型部署为 Web 服务。在本项目中,"部署为 Web 服务"意味着医疗类应用能够实时调用模型,评估患者发生心衰的风险。

在最佳模型详情页点击 Deploy:

  • 填写部署名称与描述;
  • 计算类型选择 Azure Container Instance(ACI);
  • 启用身份验证(Enable authentication)(这决定端点是否需要 API Key);
  • 点击 Deploy,整个过程约 20 分钟,期间可周期性点击 Refresh 查看"Deploy status",当状态变为 "Healthy" 时表示部署完成、服务已运行。

部署完成后,进入 Endpoint 选项卡并点击刚部署的端点,即可查看端点的全部详细信息(REST URL、密钥、Swagger 文档等)。

十、第 7 步:消费 REST 端点并验证预测

点击端点页面的 Consume 选项卡,可以看到 REST 端点地址与一段可直接在本机运行的 Python 消费脚本,脚本的核心是两个变量:

url = 'http://98e3715f-xxxx-xxxx-xxxx-9ec22d57b796.centralus.azurecontainer.io/score'
api_key = '' # Replace this with the API key for the web service

其中 url 即 Consume 页签中的 REST 端点,api_key 是该页签中的主密钥(仅当你部署时启用了身份验证才需要填写)。下图即为课程中端点 Consume 页签的真实界面,左侧是 Basic consumption info(REST endpoint 与 Primary/Secondary key),右侧是可选的 Python 消费脚本:

Azure ML 端点 Consume 页签中 REST 端点信息与 Python 消费脚本截屏

直接运行脚本,会看到如下输出:

b'"{\\"result\\": [true]}"'

这表示对给定数据预测的"心衰风险"为 true。原因在于脚本自动生成的示例数据全部为 0 / false(即所有特征取值均为最低风险水平),模型对"一切正常"的样本却给出风险判断,逻辑上并不合理——因此需要用真实且有区分度的样本替换数据来验证模型行为。将脚本中的 data 替换为如下两组输入:

data = {
    "data":
    [
        {
            'age': "0",
            'anaemia': "false",
            'creatinine_phosphokinase': "0",
            'diabetes': "false",
            'ejection_fraction': "0",
            'high_blood_pressure': "false",
            'platelets': "0",
            'serum_creatinine': "0",
            'serum_sodium': "0",
            'sex': "false",
            'smoking': "false",
            'time': "0",
        },
        {
            'age': "60",
            'anaemia': "false",
            'creatinine_phosphokinase': "500",
            'diabetes': "false",
            'ejection_fraction': "38",
            'high_blood_pressure': "false",
            'platelets': "260000",
            'serum_creatinine': "1.40",
            'serum_sodium': "137",
            'sex': "false",
            'smoking': "false",
            'time': "130",
        },
    ],
}

第一条记录为"全 0"的极端样本,第二条记录则接近真实临床患者(60 岁、CPK 酶 500、射血分数 38%、血小板 26 万、肌酐 1.40、钠 137、随访 130 天)。再次运行脚本,应得到两组不同的预测结果:

b'"{\\"result\\": [true, false]}"'

两条记录被分别判定为"有风险 / 无风险",说明模型确实依据输入特征产生了差异化预测——至此,你已完成"训练 → 部署 → 消费"的完整闭环。需要强调的是,这里的特征名与取值格式必须与你上传的数据集保持一致,若使用你自己的数据集,请将字段替换为对应特征。

十一、提交前自检清单

对照作业评分标准,在提交前逐项自查:

  • [ ] 上传数据时,是否在 Schema 中按需将特征类型(如布尔、类别)校准正确?(优秀 / 可接受必需)
  • [ ] 数据是否完成了必要的清洗(缺失值、异常值、冗余列)?(优秀)
  • [ ] 是否通过 AutoML 对数据集运行了一次完整训练?(优秀 / 可接受必需)
  • [ ] 是否查看了 AutoML 生成的模型解释,并能说明最佳模型优于其他候选的原因?(优秀)
  • [ ] 是否部署了最佳模型,且端点状态为 "Healthy"?(三个等级均必需)
  • [ ] 是否用本机 Python 脚本成功消费了端点,并返回了预期的预测结果(而非默认的全 0 样本结果)?(三个等级均必需)

十二、成本提示与资源清理

课程教程与作业均特别强调:Azure ML 工作区存续期间会产生存储费用,项目结束后请务必删除全部相关资源(工作区及其关联的存储账户、Key Vault、Application Insights、计算集群与已部署端点),避免产生持续账单。这也是"负责任地使用云资源"这一课程理念(参见 第 2 课《数据科学伦理》)在实操层面的体现。

总结

本作业的本质是一次"以用户自己的数据集为对象、全程低代码"的端到端实践:选数 → 清洗与类型校准 → AutoML 训练 → 解释模型 → 部署 → 消费。以 第 18 课完整教程 为操作手册、以 评分标准 为验收清单,只要完整走通"部署 + 消费"即达合格线,再补上特征类型校准、数据清洗与模型解释即可冲击"优秀"等级。若想进一步探索代码化路径,可继续学习 第 19 课:Azure ML SDK 方式,对比两种方式在资源自动化与生产就绪性上的差异。

登录后查看全文
Data-Science-For-Beginners