Valhalla项目构建过程中磁盘空间占用过高的分析与优化建议

Valhalla作为一款开源路由引擎，在构建全球地图数据(planet build)过程中，近期出现了磁盘空间占用过高的问题。本文将从技术角度分析该问题的成因，并提出可能的优化方向。

问题现象

在构建全球地图数据时，Valhalla实例的磁盘空间使用量达到了惊人的1.7TB，其中仅valhalla_tiles目录就占用了1.2TB空间。具体来看，主要占用空间的文件包括：

• way_nodes.bin: 838GB
• ways.bin: 196GB
• nodes.bin: 90GB
• edges.bin: 15GB
• access.bin: 11GB

根本原因分析

经过项目成员的深入调查，发现问题主要源于以下几个技术因素：

1. OSMNode结构体膨胀：近期代码变更中，OSMNode结构体从原来的17字节膨胀到了27字节，增加了近60%的体积。这种膨胀影响了所有way_nodes的存储，尽管这些新增字段实际上只需要用于常规图形节点。

2. OSMWay结构体膨胀：同样地，OSMWay结构体也增加了超过150字节的体积。其中部分索引字段可能使用了32位存储，而实际上16位可能已经足够。

3. 稀疏数据存储效率低：许多新增字段实际上是非常稀疏的数据，大多数节点和路径的这些索引值都是0，但当前实现仍然为每个记录分配了完整的存储空间。

优化建议

针对上述问题，可以考虑以下优化方向：

1. 数据结构拆分：将OSMNode拆分为OSMNode和OSMGraphNode两个类，前者包含基础数据，后者作为子类添加仅图形节点需要的额外字段。这样可以避免为所有节点存储不必要的字段。

2. 使用更紧凑的数据类型：评估各字段的实际取值范围，将32位整数降级为16位整数，特别是对于那些取值范围有限的索引字段。

3. 采用稀疏存储方案：对于稀疏数据字段，可以采用以下方案之一：

   • 使用Protocol Buffers等序列化格式，自动跳过零值字段
   • 实现基于位图的稀疏存储
   • 采用键值存储方式，只存储非零值

4. 压缩技术：对于某些数据文件，可以考虑在存储时应用轻量级压缩算法，在内存中解压使用。

实施考量

实施上述优化时需要考虑以下因素：

1. 性能影响：任何优化方案都需要评估其对运行时性能的影响，确保不会显著增加查询延迟。

2. 代码复杂度：更复杂的存储方案可能会增加代码维护难度，需要在简洁性和效率之间取得平衡。

3. 向后兼容：如果修改存储格式，需要考虑如何平滑过渡，特别是对于生产环境中的部署。

结论

Valhalla项目在功能增强过程中，数据结构逐渐膨胀导致了显著的存储空间增长。通过合理的数据结构设计和存储优化，有望在不影响功能的前提下大幅减少磁盘占用。这对于资源受限的部署环境尤为重要，也是项目长期健康发展需要考虑的技术因素。