MLOps with Vertex AI 教程

1、项目介绍

MLOps with Vertex AI 是一个端到端的机器学习操作（MLOps）示例项目，使用 Google Cloud 的 Vertex AI 平台和 Smart Analytics 技术能力。该项目使用 Keras 实现机器学习模型，TFX 实现训练管道，并通过 Model Builder SDK 与 Vertex AI 进行交互。

2、项目快速启动

环境设置

1. 启动 AI Notebook 实例：

   • 在 Google Cloud 上启动一个 AI Notebook 实例。
   • 打开 JupyterLab，然后打开一个新的终端。

2. 克隆仓库：

   git clone https://github.com/GoogleCloudPlatform/mlops-with-vertex-ai.git
   cd mlops-with-vertex-ai
   

3. 安装所需的 Python 包：

   pip install tfx==1.2.0
   

运行示例

1. 数据集管理：

   • 打开 01-dataset-management.ipynb 笔记本并运行所有单元。

2. 实验：

   • 打开 02-experimentation.ipynb 笔记本并运行所有单元。

3. 训练规范化：

   • 打开 03-training-formalization.ipynb 笔记本并运行所有单元。

4. 管道部署：

   • 打开 04-pipeline-deployment.ipynb 笔记本并运行所有单元。

5. 持续训练：

   • 打开 05-continuous-training.ipynb 笔记本并运行所有单元。

6. 模型部署：

   • 打开 06-model-deployment.ipynb 笔记本并运行所有单元。

7. 预测服务：

   • 打开 07-prediction-serving.ipynb 笔记本并运行所有单元。

8. 模型监控：

   • 打开 08-model-monitoring.ipynb 笔记本并运行所有单元。

3、应用案例和最佳实践

应用案例

• 自动化机器学习管道：通过 TFX 和 Vertex AI，实现从数据处理到模型部署的全自动化流程。
• 模型监控和维护：利用 Vertex AI 的模型监控功能，确保模型在生产环境中的性能和稳定性。

最佳实践

• 模块化设计：将 MLOps 流程分解为多个模块，便于管理和维护。
• 持续集成和持续部署（CI/CD）：通过自动化工具实现模型的持续训练和部署。
• 团队协作：利用 Vertex AI 的协作工具，促进 AI 团队之间的沟通和合作。

4、典型生态项目

• TensorFlow Extended (TFX)：用于构建和维护生产级机器学习管道的开源平台。
• Keras：高级神经网络 API，用于快速实验和模型构建。
• Google Cloud BigQuery：用于大规模数据分析的完全托管式数据仓库。
• Google Cloud Storage (GCS)：用于存储和访问数据的对象存储服务。

通过这些生态项目的集成，MLOps with Vertex AI 提供了一个全面的解决方案，帮助用户在 Google Cloud 上实现高效的机器学习操作。