Spinnaker项目升级中Orca服务MySQL字符集问题解析

问题背景

在Spinnaker项目从1.33版本升级到1.34或1.35版本的过程中，Orca服务组件出现了严重的启动失败问题。该问题表现为Liquibase数据库迁移失败，具体错误信息显示系统尝试重复创建已存在的压缩执行表（compressed executions tables）。

错误现象分析

升级过程中，Orca服务日志显示以下关键错误：

Migration failed for changeset db/changelog/20201214-create-compressed-executions-table.yaml
Reason: liquibase.exception.DatabaseException: Table 'orchestration_stages_compressed_executions' already exists

该错误涉及四个关键表的创建：

1. pipelines_compressed_executions
2. pipeline_stages_compressed_executions
3. orchestrations_compressed_executions
4. orchestration_stages_compressed_executions

问题根源探究

经过深入排查，发现问题根源在于MySQL数据库字符集和排序规则的不一致性。具体表现为：

1. 版本迁移导致的字符集变化：从MySQL 5.x升级到8.x版本时，默认字符集从utf8mb4_unicode_ci变为utf8mb4_0900_ai_ci
2. 数据库与表字符集不匹配：当使用备份恢复方式迁移数据库时，新建的数据库采用新字符集，而恢复的表保持旧字符集
3. Liquibase校验机制：字符集不一致导致Liquibase无法正确识别已存在的表结构，从而重复执行创建表的操作

解决方案

针对这一问题，我们推荐以下解决方案：

1. 统一字符集设置：

   • 确保数据库和所有表使用一致的字符集
   • 对于MySQL 8.x，建议统一使用utf8mb4_unicode_ci

2. 手动修复步骤：

   ALTER DATABASE orca CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
   ALTER TABLE pipelines_compressed_executions CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
   -- 对其他三个表执行相同操作
   

3. 预防措施：

   • 在创建新数据库时显式指定字符集
   • 升级前检查数据库字符集一致性

技术原理深入

Spinnaker的Orca服务使用Liquibase进行数据库版本管理。在1.34版本中引入了压缩执行表的新特性，这些表的创建脚本明确指定了utf8mb4_unicode_ci字符集。当实际数据库环境使用不同字符集时，会导致：

1. 校验和计算差异：Liquibase基于表结构计算校验和，字符集差异会导致校验和不匹配
2. 迁移逻辑失效：系统无法正确识别已应用的变更，从而重复执行

最佳实践建议

1. 升级前检查：

   • 确认当前数据库字符集设置
   • 检查DATABASECHANGELOG表中已应用的变更

2. 升级路径规划：

   • 推荐升级路径：1.33.1 → 1.33.3 → 1.34.3
   • 避免直接从早期1.33.x版本升级到1.34.x

3. 环境一致性：

   • 确保测试环境与生产环境数据库配置一致
   • 考虑在CI/CD流程中加入字符集检查步骤

总结

Spinnaker升级过程中的Orca服务数据库迁移问题，本质上是由于MySQL版本升级导致的字符集不一致引起的。通过统一字符集配置，可以确保Liquibase正确识别和应用数据库变更。这一问题提醒我们在进行数据库迁移和升级时，需要特别注意字符集和排序规则等基础配置的一致性。