dsub 开源项目使用教程

1. 项目目录结构及介绍

dsub/
├── dsub/
│   ├── __init__.py
│   ├── commands/
│   │   ├── __init__.py
│   │   ├── dsub.py
│   │   ├── dstat.py
│   │   ├── ddel.py
│   │   └── ...
│   ├── lib/
│   │   ├── __init__.py
│   │   ├── dsub_util.py
│   │   ├── google_base.py
│   │   ├── google_v2.py
│   │   └── ...
│   ├── providers/
│   │   ├── __init__.py
│   │   ├── google_v2.py
│   │   ├── local.py
│   │   └── ...
│   └── ...
├── tests/
│   ├── __init__.py
│   ├── test_dsub.py
│   ├── test_dstat.py
│   ├── test_ddel.py
│   └── ...
├── setup.py
├── README.md
└── ...

目录结构说明

• dsub/: 项目的主目录，包含了所有核心代码。
  • commands/: 包含了项目的各个命令行工具，如 dsub.py, dstat.py, ddel.py 等。
  • lib/: 包含了项目的库文件，如 dsub_util.py, google_base.py, google_v2.py 等。
  • providers/: 包含了不同云服务提供商的实现，如 google_v2.py, local.py 等。
• tests/: 包含了项目的测试代码。
• setup.py: 项目的安装脚本。
• README.md: 项目的说明文档。

2. 项目启动文件介绍

dsub/commands/dsub.py

dsub.py 是 dsub 项目的主要启动文件，负责处理用户提交的任务。它通过命令行接口接收参数，并根据这些参数调用相应的功能模块来执行任务。

主要功能

• 任务提交: 用户可以通过 dsub.py 提交任务到云平台或本地执行。
• 参数解析: 解析用户输入的命令行参数，并将其传递给相应的处理模块。
• 任务调度: 根据用户选择的云服务提供商，调度任务的执行。

3. 项目配置文件介绍

dsub/lib/google_base.py

google_base.py 是 dsub 项目中与 Google Cloud 相关的配置文件。它定义了与 Google Cloud 交互的基本配置和参数。

主要配置项

• 项目ID: 指定 Google Cloud 项目的 ID。
• 区域: 指定任务执行的区域。
• 存储桶: 指定任务使用的 Google Cloud Storage 存储桶。
• 服务账号: 指定用于任务执行的服务账号。

示例配置

class GoogleBaseProvider(object):
    def __init__(self, project, zone, bucket, service_account):
        self.project = project
        self.zone = zone
        self.bucket = bucket
        self.service_account = service_account

通过这些配置项，dsub 可以正确地与 Google Cloud 进行交互，并执行用户提交的任务。