PeerDB项目中的Decimal(76, 38)类型解析问题解析

在数据同步工具PeerDB的使用过程中，当从PostgreSQL向ClickHouse同步数据时，用户可能会遇到"无法解析Decimal(76, 38)类型"的错误。这个问题主要出现在使用XMIN同步机制时，特别是当源数据库PostgreSQL中的列定义为numeric(128)而目标ClickHouse中的列定义为Decimal(76, 38)的情况下。

问题现象

错误信息显示系统无法解析Decimal(76, 38)类型，预期接收不超过32字节的二进制数据，但实际收到了48字节的数据。这种情况通常发生在数据同步过程中的第1792行记录处，当执行AvroRowInputFormat和S3Source操作时。

技术背景

PostgreSQL的numeric(128)类型可以存储非常大的数值，精度高达128位。而ClickHouse的Decimal(76, 38)类型虽然也能存储高精度数值，但其存储结构和处理方式与PostgreSQL有所不同。在数据同步过程中，PeerDB需要在这两种类型之间进行转换。

解决方案

经过PeerDB开发团队的确认，这个问题与软件版本有关。在较早的stable-v0.13.5b版本中存在此问题。团队建议用户：

1. 确保使用的是最新版本的PeerDB
2. 如果通过源代码运行，执行git pull获取最新代码
3. 如果使用Docker，将docker-compose.yaml中的镜像标签更新为latest-dev

更新到v0.19.x或更高版本后，此问题应该能够得到解决。新版本中对类型转换和版本管理进行了优化，能够更好地处理大精度数值类型的同步。

最佳实践

对于需要处理高精度数值同步的用户，建议：

• 定期更新PeerDB到最新版本
• 在同步前检查源和目标数据库的数值类型定义
• 对于特别大的数值类型，考虑在同步前进行适当的精度调整
• 关注PeerDB的版本更新日志，了解类型处理方面的改进

通过保持软件更新和合理规划数据类型，可以避免此类同步问题的发生。