Digdag 开源工作流引擎安装与使用指南

目录结构及介绍

当你通过克隆或下载的方式获取到 Digdag 的最新代码仓库时，其基本目录结构大致如下：

digdag/
├── digdag-core/             # 核心功能代码库
├── digdag-server/           # 提供服务端支持的代码库
├── digdag-ui/               # 用户界面（前端）开发代码库
├── digdag-docs/             # 文档资料存储位置
│   └── src                  # Sphinx构建网站所需要的文档源码
└── gradle.properties        # Gradle 构建系统配置文件

digdag-core/

核心功能代码存放处，包括所有与工作流处理相关的逻辑。

digdag-server/

包含运行服务器所需的所有组件，如 REST API 实现等。

digdag-ui/

负责前端展示层，用于提供图形化界面给用户操作。

digdag-docs/

所有文档和示例都保存于此目录下。

项目启动文件介绍

要启动 Digdag 项目，可以通过多种方式进行：

• 本地编译并运行服务 使用命令行进入对应目录执行相关命令，例如在digdag-ui/目录中:

  cd digdag-ui/
  npm install          # 安装必要的包依赖
  npm run dev         # 启动一个开发环境下的服务器，在 http://localhost:9000/ 可以访问
  

  更新 REST API 文档:

  ./gradlew swaggerYaml      # 将生成最新的 Swagger YAML 文件
  

• 利用 Docker 镜像部署 对于更自动化和标准化的部署流程，可以借助 Docker 运行容器:

  docker run -dp 8080:8080 swaggerapi/swagger-ui       # 启动 Swagger UI 在另一个控制台
  open http://localhost:8080/                       # 访问 Swagger UI 界面
  

项目配置文件介绍

主要使用的配置文件位于各个子模块内，尤其是~/config/digdag/config目录下的各种配置文件。这里的关键是定义如何与外部服务进行交互以及调整内部行为，比如：

• HTTP 请求头的跨域策略 (CORS) 可以设置允许跨域请求的来源、方法类型及其他相关参数:

  server.http.headers.access-control-allow-origin = http://localhost:9000
  server.http.headers.access-control-allow-headers = origin, content-type, accept, authorization, x-td-account-override, x-xsrf-token, cookie
  server.http.headers.access-control-allow-credentials = true
  server.http.headers.access-control-allow-methods = GET, POST, PUT, DELETE, OPTIONS, HEAD
  

此外，对于如何组织和编写工作流，通常会有.dig扩展名的配置文件作为核心组成部分。例如，在创建一个新的工作流目录和初始化该工作流时，将自动生成相应的配置文件：

digdag init my_test_digdag                   # 创建新工作流及其默认配置文件
digdag run my_test_digdag                    # 执行该工作流

这些文件会指定任务列表、它们之间的依赖关系以及其他选项，全部采用 YAML 格式书写。 总结来说，从目录结构解析到启动指令解释再到配置细节说明，上述概述涵盖了 Digdag 主要方面的入门知识。希望这份指南能够帮助你在探索和应用此开源项目时更加得心应手。