Kokoro-onnx项目中的语音数据存储优化实践

背景介绍

Kokoro-onnx是一个基于ONNX的语音合成项目，其中需要存储和管理多种语音特征数据。在项目早期版本中，这些语音数据以JSON格式存储，每个语音特征向量被序列化为一个数组，保存在名为voices.json的文件中。

原始方案的问题

最初的实现采用了JSON格式，并使用indent=4参数使文件具有良好可读性。这种设计带来了两个主要问题：

1. 存储空间浪费：JSON格式本身包含大量冗余字符（如引号、逗号、空格等），导致文件体积膨胀。一个包含11种语音特征的文件大小达到约51.5MB，其中仅空格字符就占据了146万多个。

2. 加载效率低下：JSON解析需要处理大量无关字符，降低了数据加载速度，特别是在只需要使用其中部分语音数据时，仍需加载整个大文件。

优化方案探索

项目维护者考虑了多种优化方案：

1. JSON压缩：最简单的方案是去除JSON的缩进格式，将文件体积从51.5MB减少到约28MB，但这种方法提升有限。

2. NumPy数组存储：将每个语音特征保存为单独的.npy二进制文件，每个文件约512KB。这种方法可以按需加载，但会产生大量小文件，管理不便。

3. HDF5格式：使用h5py库将所有语音数据存储在单个HDF5文件中，体积可压缩到约5MB，同时保持高效随机访问能力。

最终实现方案

经过权衡，项目采用了NumPy的NPZ格式作为最终解决方案：

• 将所有语音特征数据存储在单个voices.npz文件中
• 文件体积从原来的51.5MB大幅减少到约5MB
• 保持了良好的访问性能
• 不需要额外依赖，因为项目已使用NumPy

NPZ格式是NumPy提供的压缩数组存储格式，特别适合存储多个数组数据。它基于ZIP压缩算法，在保证数据完整性的同时提供了良好的压缩率。

技术实现细节

优化后的实现主要做了以下改进：

1. 使用torch.load加载原始语音数据后直接转换为NumPy数组
2. 将所有语音数组收集到字典中，键为语音名称，值为对应的特征数组
3. 使用np.savez_compressed函数将整个字典保存为压缩的NPZ文件
4. 在运行时通过np.load按需访问特定语音数据

这种方案不仅大幅减少了存储空间，还提高了数据访问效率，为项目后续扩展更多语音功能奠定了基础。

总结

Kokoro-onnx项目通过优化语音数据存储方案，展示了在实际工程中如何权衡各种技术选项。从最初的JSON格式到最终的NPZ格式，每一步改进都基于对项目需求的深入理解：

• 从可读性优先转向性能优先
• 从文本格式转向二进制格式
• 从单一文件存储到压缩归档存储

这种优化思路对于其他需要处理大量特征数据的AI项目也具有参考价值，特别是在边缘计算和移动端应用场景下，存储和加载效率的优化尤为重要。