GitHub gh-ost工具处理JSON表生成列时的关键问题解析

问题背景

在使用GitHub开源的gh-ost工具执行在线表结构变更时，当遇到包含JSON类型字段和生成列(GENERATED COLUMN)的特殊表结构时，工具可能会出现"unique key columns is not a subset of shared columns in BuildDMLUpdateQuery"的错误。这一问题尤其在使用MySQL 8.0及以上版本时较为常见。

技术细节分析

该问题主要出现在以下表结构场景中：

1. 表中包含JSON类型的字段
2. 表中定义了基于JSON字段生成的虚拟列或存储列
3. 生成列被用作主键或唯一键的一部分

典型的表结构示例如下：

CREATE TABLE `test` (
  `main_id` varbinary(16) NOT NULL,
  `sub_id` varchar(36) GENERATED ALWAYS AS (jsonbody->>'$._id') STORED NOT NULL,
  `jsonbody` json NOT NULL,
  PRIMARY KEY (`main_id`,`sub_id`)
) ENGINE=InnoDB;

问题根源

gh-ost工具在执行在线DDL变更时，需要正确处理源表和影子表之间的列映射关系。当遇到生成列作为主键或唯一键组成部分时，工具在构建UPDATE语句时会进行严格的列检查：

1. 工具会验证唯一键列是否是共享列的子集
2. 对于生成列，特别是基于JSON提取的生成列，工具在列映射处理上存在特殊情况
3. 在较新版本的gh-ost中，这一检查逻辑已从BuildDMLUpdateQuery方法移至NewDMLUpdateQueryBuilder方法

解决方案验证

经过验证，确认以下解决方案有效：

1. 确保使用最新版本的gh-ost工具（commit 5713a29或更新版本）
2. 正确的构建方式应为直接使用go build命令而非build.sh脚本：

   go build -ldflags "-X main.GitCommit=$(git rev-parse HEAD)" -o gh-ost go/cmd/gh-ost/main.go
   

3. 构建完成后验证版本信息：

   ./gh-ost --version
   

最佳实践建议

对于使用gh-ost工具处理包含JSON和生成列的表结构变更，建议：

1. 始终使用最新稳定版本的gh-ost工具
2. 在测试环境充分验证表结构变更过程
3. 对于复杂的生成列场景，提前评估可能的兼容性问题
4. 监控gh-ost执行过程中的错误日志，及时发现问题
5. 考虑在低峰期执行此类变更，降低潜在风险

通过遵循上述建议，可以有效避免生成列与JSON字段组合带来的迁移问题，确保在线DDL变更的平稳执行。