Cromwell项目89版本发布：GCP成本估算与Batch后端优化

Cromwell是一个开源的Workflow管理系统，由Broad Institute开发，主要用于科学计算和大规模数据处理工作流的管理与执行。作为一款强大的工作流引擎，Cromwell支持WDL(Workflow Description Language)和CWL(Common Workflow Language)两种工作流描述语言，能够与多种计算后端集成，包括本地服务器、HPC集群以及云平台如Google Cloud Platform(GCP)等。

成本估算功能增强

89版本最显著的改进之一是新增了GCP工作流运行成本估算功能。这一功能对于云上用户尤为重要，它允许用户在运行工作流前就能预估可能产生的费用，从而更好地进行预算规划和控制云资源使用成本。

成本估算功能通过分析工作流中各个任务的资源配置需求(如CPU、内存、存储等)以及预计运行时间，结合GCP的定价模型，计算出大致的费用范围。值得注意的是，该版本还修复了一个关于抢占式机器(preemptible machines)成本估算的bug，此前版本会高估使用抢占式实例的工作流成本。

GCP Batch后端多项优化

89版本对GCP Batch后端进行了多项重要改进：

1. 磁盘空间优化：现在会自动在用户请求的启动磁盘大小基础上增加30GB的默认空间，确保有足够容量容纳大型Docker镜像。这一改动解决了因镜像过大导致的任务失败问题。

2. 任务重试机制改进：新增了对Batch服务瞬态错误的自动重试功能。特别值得注意的是，这些重试发生在VM启动之前(即用户尚未产生费用时)，且不计入maxRetries限制，既提高了可靠性又不会增加用户成本。

3. 路径兼容性处理：创建了从/mnt/disk/cromwell_root到/cromwell_root的符号链接，确保依赖于旧路径的WDL脚本能够继续工作，同时保持向前兼容性。

4. 内存分配优化：改进了共享内存文件系统(/dev/shm)的内存分配策略，现在会根据机器规格按比例分配更多内存，提升内存密集型任务的性能。

5. 抢占处理改进：修复了一个导致Cromwell将即时抢占视为任务失败的bug，使得抢占式实例的使用更加稳定可靠。

数据库与部署优化

在系统层面，89版本也做了一些基础性改进：

1. 数据库索引优化：移除了冗余的METADATA_WORKFLOW_IDX索引，因为新引入的IX_METADATA_ENTRY_WEU_MK索引已经覆盖了其功能，这一改动可以提升数据库性能并减少存储空间占用。

2. Docker镜像标签策略调整：latest标签现在将指向最新的数字版本发布，而不是开发分支。这意味着预发布版本将不再更新latest标签，使得生产环境部署更加稳定可靠。

总结

Cromwell 89版本通过引入成本估算功能和多项Batch后端优化，显著提升了在GCP平台上的用户体验和性价比。特别是自动重试机制和路径兼容性处理，体现了开发团队对实际使用场景的深入理解。这些改进使得Cromwell作为科学工作流管理工具更加成熟可靠，特别是在云环境中的表现更为出色。