Data-Science-For-Beginners 课程实战:在 Azure ML 上以 Low code/No code 方式完成端到端数据科学项目

原创2026-09-09 18:47:061,624 阅读
文章标签:示例工程教育数据科学数据分析数据可视化教程

Data-Science-For-Beginners 课程实战:在 Azure ML 上以 Low code/No code 方式完成端到端数据科学项目

本篇指南围绕 Data-Science-For-Beginners 课程第 18 课("Data Science in the Cloud: The Low code/No code way")的配套作业展开,讲解如何在 Azure Machine Learning 平台上,以零代码的方式走完"寻找数据集 → 上传与特征校正 → AutoML 训练 → 部署模型 → 消费 REST 端点"的完整数据科学闭环。读完本文,你将掌握一个可复用的 Low code/No code 实战范式:不仅能复现课程中的心力衰竭预测项目,还能把它迁移到你自己选择的数据集上,并对照作业评分标准完成自检。

一、作业要求:训练、部署并消费属于你自己的模型

课程作业(见 assignment.md 及孟加拉语译本 translations/bn/5-Data-Science-In-Cloud/18-Low-Code/assignment.md)的核心指令非常明确:前面已经演示了如何用 Azure ML 平台以 Low code/No code 方式训练、部署并消费一个模型,现在需要你自己寻找一份新数据,用同样的方法训练另一个模型、部署它并成功消费它。数据可以从 Kaggle、Azure Open Datasets 等公开数据平台获取(例如 Kaggle 上公开的 Heart Failure Clinical Data 表格数据集)。

这份作业的评分标准(Rubric)把完成质量分为三档,这三级标准本身就是一份可执行的任务清单:

卓越(Exemplary) 合格(Adequate) 需改进(Needs Improvement)
上传数据时按需修改特征(Feature)的类型;必要时清理数据;通过 AutoML 对数据集运行训练,并检查模型解释(Explanations);部署最佳模型并成功消费它 上传数据时按需修改特征的类型;通过 AutoML 对数据集运行训练;部署最佳模型并成功消费它 部署了 AutoML 训练出的最佳模型,并能成功消费它

可以看出,任务从低到高覆盖了三个层次:能部署并消费(最低门槛)→ 会跑 AutoML 训练并做特征工程(进阶)→ 会清理数据并读懂模型解释(卓越)。下文将按这条主线,结合课程 README.md 中的完整操作流程,逐环节给出可落地的执行指南。

二、认识 Low code/No code 数据科学工具链

在动手之前,先理解作业依托的平台。Azure Machine Learning(Azure ML)是一个云端的机器学习平台,用于在 Azure 上构建和运营机器学习解决方案:数据准备、模型训练、发布预测服务、监控使用情况等。对数据科学家而言,它最大的价值在于把模型训练中大量耗时的任务自动化,并使用按需付费、可弹性伸缩的云端计算资源。

面向低代码/无代码场景,Azure ML 提供的关键工具包括:

  • Azure Machine Learning Studio:一个 Web 门户,为模型训练、部署、自动化、跟踪和资产管理提供低代码与无代码选项,并与 Azure ML SDK 集成,提供一致的使用体验;
  • Automated machine learning UI(AutoML):自动化机器学习模型开发中重复性的迭代任务,在保持模型质量的同时,以高扩展性、高效率和生产力构建模型,是本次作业训练环节的核心;
  • Azure Machine Learning Designer:通过拖拽模块构建实验并在低代码环境中部署流水线;
  • Data Labelling:辅助机器学习工具,用于自动标注数据;
  • 此外还有 Jupyter Notebooks、VS Code 机器学习扩展、机器学习 CLI、与 PyTorch/TensorFlow/Scikit-learn 等开源框架的集成,以及用于实验生命周期管理的 MLflow(其 MLflow Tracking 组件可记录和追踪训练运行的指标与模型工件)。

课程还对比了两种项目实现路径,这也是理解作业定位的关键:

对比维度 Low code/No code Azure ML SDK
代码技能要求 不需要 需要
开发时间 快速、简单 取决于编码水平
生产就绪 否 是

Low code/No code 方式通过图形界面交互即可快速验证项目可行性、产出概念验证(POC),非常适合本作业这种"快速跑通另一个模型"的场景;而当项目规模变大、需要生产就绪时,才需要用 Azure ML SDK 以编程方式自动化从资源创建到模型部署的全过程。

Low code/No code 与 Azure ML SDK 两种项目实现路径的对比示意

三、数据准备:选择数据集、上传并校正特征类型

作业评分标准的第一档要求是"上传数据时按需修改特征类型,必要时清理数据"。课程以心力衰竭预测项目为范例:该数据集来自 Kaggle 的 Heart Failure Clinical Data,是一个包含 13 列(12 个特征 + 1 个目标变量)、299 行的表格数据:

序号 变量名 类型 说明 示例
1 age 数值 患者年龄 25
2 anaemia 布尔 是否贫血(红细胞或血红蛋白减少) 0 或 1
3 creatinine_phosphokinase 数值 血液中 CPK 酶水平 542
4 diabetes 布尔 患者是否患糖尿病 0 或 1
5 ejection_fraction 数值 每次收缩时离开心脏的血液百分比 45
6 high_blood_pressure 布尔 患者是否患高血压 0 或 1
7 platelets 数值 血液中的血小板数量 149000
8 serum_creatinine 数值 血液中血清肌酐水平 0.5
9 serum_sodium 数值 血液中血清钠水平 —
10 sex 布尔 女性或男性 0 或 1
11 smoking 布尔 患者是否吸烟 0 或 1
12 time 数值 随访期(天) 4
— DEATH_EVENT(目标) 布尔 随访期内患者是否死亡 0 或 1

你完成作业时可以选择其他数据集,但建议优先选择包含混合类型特征(数值 + 布尔/类别)的表格数据,这样才用得上特征类型校正这一关键步骤。在 Azure ML Studio 中上传数据的操作路径为:进入工作区后点击左侧菜单 "Datasets" → "+ Create dataset" → 选择 "From local files" 并选中下载好的本地文件;随后为数据集命名、设置类型和描述,在 Schema 页面中按需调整每列的数据类型。

课程范例中特别强调:需要把以下特征的数据类型改为 Boolean——anaemia、diabetes、high_blood_pressure、sex、smoking,以及目标列 DEATH_EVENT。这一步是评分标准中"修改特征类型"的直接落点:如果这些 0/1 编码的列被误识别为数值型,AutoML 会将其当作连续特征参与距离计算和分裂,从而扭曲特征语义;显式声明为布尔/类别后,模型才能正确处理这些离散取值。若数据存在缺失值、异常值或格式错误,则应在上传前或上传后完成清理,这对应评分标准中的"必要时清理数据"。

四、计算资源:选择合适的训练环境

训练模型前需要准备好 Azure ML 工作区(Workspace)和计算资源。

4.1 创建工作区

工作区是 Azure Machine Learning 的顶层资源,为使用 Azure ML 时创建的所有工件提供集中管理位置;它会保留所有训练运行的历史,包括日志、指标、输出和脚本快照,据此可以判断哪次训练运行产出了最佳模型。创建步骤如下:

  1. 使用与 Azure 订阅关联的 Microsoft 凭据登录 Azure 门户;
  2. 选择 +Create a resource,搜索 Machine Learning 并选择对应磁贴,点击 Create;
  3. 填写设置:订阅(Subscription)、资源组(Resource group)、工作区名称(唯一)、区域(就近选择)、存储账户/密钥保管库/Application Insights(记录自动创建的默认新资源)、容器注册表(保持 None,首次将模型部署到容器时会自动创建);
  4. 点击 "Create + review" 再点击 "Create",等待工作区创建完成(可能需要几分钟);
  5. 在工作区概览页启动 Azure Machine Learning Studio(或在浏览器访问 https://ml.azure.com),用 Microsoft 账户登录并选择目录、订阅和工作区;
  6. 点击左上角 ☰ 图标展开导航,即可看到管理资源所需的各个页面。

注意成本:只要工作区存在于订阅中,就会因数据存储产生少量费用,建议不再使用时删除工作区。同样地,作业完成后应删除全部相关资源。

Azure ML Studio 为数据科学家和 ML 运维工程师提供了比门户更聚焦的界面来管理工作区资源。

4.2 四类计算资源

Azure ML 中有四类可创建的计算资源:

  • 计算实例(Compute Instances):数据科学家用来处理数据和模型开发工作站,本质是创建一台虚拟机并启动 Notebook 实例;
  • 计算集群(Compute Clusters):用于按需处理实验代码的可伸缩 VM 集群,训练模型时需要它,可使用专用 GPU 或 CPU 资源;
  • 推理集群(Inference Clusters):使用训练好的模型提供预测服务的部署目标;
  • 附加计算(Attached Compute):关联已有的 Azure 计算资源(如虚拟机或 Azure Databricks 集群)。

本作业训练模型需要的是计算集群。

4.3 计算资源的关键选型

创建计算资源时有几个关键决策值得权衡:

  • CPU 还是 GPU? CPU 擅长以较高主频快速处理广泛类型的任务,但并发能力有限;GPU 为并行计算设计,在深度学习任务上表现远优于 CPU。对应地,CPU 更便宜、并发度低、训练深度学习模型较慢;GPU 更贵、并发度高、是深度学习的优选。
  • 集群规模:集群越大越贵但响应越好。时间充裕而预算有限时应从小集群起步;反之预算充裕而时间紧张时可选用较大集群。
  • VM 大小:可根据时间与预算调整 RAM、磁盘、核数与主频,参数越大成本越高但性能越好。
  • 专用实例还是低优先级实例:低优先级实例可被 Azure 抢占(中断任务)因此更便宜;专用(不可中断)实例只有在获得授权时才会终止任务。这是又一个"时间换金钱"的权衡。

4.4 创建计算集群

在 Studio 中点击 "Compute" 菜单 → "Compute cluster" 标签页 → "+ New":

  1. 选择 Dedicated 或 Low priority、CPU 或 GPU、VM 大小和核数(本作业可直接使用默认设置);
  2. 点击 Next;
  3. 为集群命名;
  4. 配置最小/最大节点数、缩容前空闲秒数、SSH 访问。最小节点数设为 0 时,集群空闲不产生费用;最大节点数越大训练越快,课程建议最大节点数取 3;
  5. 点击 Create,等待数分钟完成创建。

五、用 AutoML 完成低代码训练并读懂模型解释

数据就位、集群就绪后,即可开始训练环节,这也对应评分标准中的核心动作:通过 AutoML 在数据集上运行训练,并检查模型解释。

传统机器学习模型开发需要投入大量资源、领域知识与时间在数十个模型之间反复试错;AutoML 将这些耗时且重复的迭代任务自动化,让数据科学家、分析师和开发者以高扩展性、高效率与高生产力构建模型,并缩短产出生产就绪模型的周期。

在 Azure ML Studio 中执行 AutoML 训练:

  1. 点击左侧菜单 "Automated ML",选择刚上传的数据集,点击 Next;
  2. 填写新的实验(Experiment)名称、目标列(Target column,范例中为 DEATH_EVENT)以及已创建的计算集群,点击 Next;
  3. 任务类型选择 "Classification"(分类)并点击 Finish。这一步耗时约 30 分钟到 1 小时,取决于计算集群规模;
  4. 运行完成后,点击 "Automated ML" 标签页,进入本次运行,点击 "Best model summary" 卡片中的算法名,即可查看 AutoML 生成的最佳模型的详细描述;也可以在 Models 标签页中浏览其他被比较的模型。

AutoML 运行完成后查看最佳模型摘要

这里有一个容易被忽略但恰恰是"卓越档"要求的动作:花几分钟查看各模型的 Explanations(预览版)。AutoML 会为排名靠前的模型生成特征重要性等可解释性信息,帮助你理解"哪个特征对预测贡献最大、为什么某个模型优于其他模型"。比如在心衰场景中,time、serum_creatinine、ejection_fraction 等特征的贡献度排序往往能直观解释模型行为——这正是作业"挑战"环节要求深入分析的素材(详见第八节)。

六、部署最佳模型并消费 REST 端点

训练完成后的收尾环节是部署与消费,这是三档评分标准共同的底线要求。

6.1 部署模型为 Web 服务

AutoML 界面支持将最佳模型在几步之内部署为 Web 服务。部署的含义是把模型集成起来,使其能基于新数据做出预测。就本作业的医学场景而言,部署为 Web 服务意味着医疗应用可以调用该模型,对患者的心脏病发作风险进行实时预测。

在最佳模型详情页点击 "Deploy" 按钮,然后:

  1. 填写名称、描述,计算类型选择 Azure Container Instance(ACI),启用身份验证(authentication),点击 Deploy;
  2. 该步骤大约需要 20 分钟。部署过程包括注册模型、生成资源、为 Web 服务配置等环节;"Deploy status" 下会显示状态消息,可定期点 Refresh 查看进度,状态变为 "Healthy" 即表示已部署并运行;
  3. 部署完成后,点击 "Endpoint" 标签页并选择刚部署的端点,即可查看该端点的全部详细信息。

6.2 用 Python 脚本消费端点

点击端点的 "Consume" 标签页,可以找到 REST 端点地址以及一个可直接在本地机器运行、用来消费该端点的 Python 脚本。脚本中最关键的是这两行:

url = 'http://98e3715f-xxxx-xxxx-xxxx-9ec22d57b796.centralus.azurecontainer.io/score'
api_key = '' # Replace this with the API key for the web service

其中 url 变量即 Consume 页面上展示的 REST 端点,api_key 变量是同一页面上的主键(仅在部署时启用了身份验证的情况下需要填写)。脚本正是依靠这两个值完成对端点的调用。

端点 Consume 页面中的 REST 端点与 Python 消费脚本

直接运行脚本时,会得到如下输出:

b'"{\\"result\\": [true]}"'

这表示脚本默认构造的那条输入数据的预测结果为 true(心衰风险为真)。这并不奇怪:脚本自动生成的默认数据里所有字段都是 0 或 false。你可以把脚本中的 data 替换为下面这份更贴近真实病人的输入样本:

data = {
    "data":
    [
        {
            'age': "0",
            'anaemia': "false",
            'creatinine_phosphokinase': "0",
            'diabetes': "false",
            'ejection_fraction': "0",
            'high_blood_pressure': "false",
            'platelets': "0",
            'serum_creatinine': "0",
            'serum_sodium': "0",
            'sex': "false",
            'smoking': "false",
            'time': "0",
        },
        {
            'age': "60",
            'anaemia': "false",
            'creatinine_phosphokinase': "500",
            'diabetes': "false",
            'ejection_fraction': "38",
            'high_blood_pressure': "false",
            'platelets': "260000",
            'serum_creatinine': "1.40",
            'serum_sodium': "137",
            'sex': "false",
            'smoking': "false",
            'time': "130",
        },
    ],
}

再次运行,脚本应返回:

b'"{\\"result\\": [true, false]}"'

即第一条"全 0"样本预测为 true,第二条更接近真实病人画像的样本预测为 false。到这里,你就完成了在 Azure ML 上"训练 → 部署 → 消费"的完整闭环:模型已能对新输入实时打分,供业务应用调用。

七、对照评分标准做作业自检

提交作业前,可以把第三节到第六节的产出与评分标准逐条核对:

  • 最低线(需改进档):已部署 AutoML 训练出的最佳模型,并能通过脚本消费其端点、看到预测结果;
  • 合格线:上传数据时按需修改了特征类型(例如把 0/1 列改为 Boolean),跑通了 AutoML 训练、部署和消费;
  • 卓越线:在合格线基础上还做了数据清理,并认真检查了 AutoML 生成的模型解释(Explanations),能说明最佳模型为何胜出。

建议在自己的作业数据上同样执行"Schema 中修正特征类型 → AutoML 训练 → 查看最佳模型与解释 → 部署 ACI 端点 → 用 Python 消费"这五步,并保留运行与部署截图作为完成证据。

八、进阶挑战与成本清理

课程在作业之外还留了一个挑战:仔细查看 AutoML 为排名靠前的模型生成的解释与详情,尝试回答——为什么最佳模型优于其他模型?AutoML 对比了哪些算法?它们之间有何差异?为什么在这个数据集上最佳模型表现更好?这些问题可以结合 Explanations 中的特征重要性与各候选模型的指标对比来回答,也是把"会跑通"提升到"懂原理"的关键一步。

最后,务必记住课程中的成本提示:项目完成后删除所有资源(工作区、计算集群、已部署端点等),避免在订阅中持续产生存储与计算费用。如果你希望在删除前深入复习本课的完整操作流程,可以随时回到 18-Low-Code/README.md 按章节逐步重做;若追求可复现与生产化,则可以进一步探索同一课程中基于 Azure ML SDK 的编程式实现路径作为对照。

登录后查看全文
Data-Science-For-Beginners