Rook项目磁盘清理指南：解决Ceph v19.2.1版本后的磁盘残留问题

在Rook项目中使用Ceph存储集群时，当需要重新部署或清理集群时，正确清理磁盘是至关重要的步骤。本文深入分析Ceph v19.2.1版本后磁盘清理的新变化，并提供完整的技术解决方案。

问题背景

在Ceph v19.2.1版本中，Ceph社区引入了一项重要变更：BlueStore设备的标签（bdev labels）不再仅存储在磁盘的0GB位置，而是会复制到多个位置。具体来说，这些标签会被写入到0GB、1GB、10GB、100GB、1000GB等位置，具体取决于磁盘的总容量。

这种变更导致仅按照传统方法清理磁盘0GB位置的数据是不够的，残留的标签会导致后续重新部署Rook时出现问题。

技术细节分析

对于BlueStore设备，Ceph会在磁盘的特定位置写入标识信息。在100GB的磁盘上，这些标识会出现在三个位置：

• 0GB偏移量
• 1GB偏移量（1073741824字节）
• 10GB偏移量（10737418240字节）

可以通过以下命令验证这些位置是否存在BlueStore标识：

hexdump -C -s 0 -n 22 /dev/vdb
hexdump -C -s 1073741824 -n 22 /dev/vdb
hexdump -C -s 10737418240 -n 22 /dev/vdb

完整的磁盘清理方案

要彻底清理磁盘，需要执行以下步骤：

1. 使用sgdisk清理分区表：

sgdisk --zap-all /dev/mapper/mpathb

2. 使用wipefs清理文件系统签名：

wipefs --all /dev/mapper/mpathb

3. 清除BlueStore标签（关键步骤）：

# 清理0GB位置的标签
dd if=/dev/zero of=/dev/mapper/mpathb bs=1 count=204800 seek=0

# 清理1GB位置的标签
dd if=/dev/zero of=/dev/mapper/mpathb bs=1 count=204800 seek=$((1 * 1024**3))

# 清理10GB位置的标签
dd if=/dev/zero of=/dev/mapper/mpathb bs=1 count=204800 seek=$((10 * 1024**3))

# 对于更大容量的磁盘，可能需要清理100GB等位置的标签
dd if=/dev/zero of=/dev/mapper/mpathb bs=1 count=204800 seek=$((100 * 1024**3))

最佳实践建议

1. 自动化清理脚本：对于生产环境，建议编写自动化脚本，根据磁盘容量自动计算需要清理的位置。

2. 清理验证：在执行清理后，建议再次使用hexdump命令验证各位置是否已清除干净。

3. 多路径设备处理：如果使用多路径设备，确保对所有底层物理设备执行相同的清理操作。

4. 安全考量：对于包含敏感数据的磁盘，应考虑使用全盘擦除而不仅是清理元数据。

总结

随着Ceph v19.2.1版本的更新，磁盘清理流程需要相应调整。理解BlueStore标签的新存储机制并采用全面的清理方法，可以确保Rook项目能够顺利重新部署。本文提供的解决方案已在生产环境中验证有效，可作为运维人员的标准操作流程参考。

对于不同规模的磁盘，运维人员应根据实际情况调整清理的位置点，确保所有可能的标签位置都被覆盖，从而避免因残留数据导致的部署问题。