Evidence项目中的Parquet文件缓存问题分析与解决方案

背景介绍

在Evidence项目（一个基于Vite的静态站点生成器）中，Parquet文件作为数据存储格式被广泛使用。最近项目中的一项变更移除了Parquet文件路径中的哈希值，这导致了一个重要的缓存问题。

问题本质

在典型的Vite静态站点部署中，构建过程会自动为CSS和JS文件添加内容哈希。这种机制允许开发者设置较长的缓存过期时间，因为当文件内容变化时，哈希值会改变，从而生成新的文件路径。这种模式确保了用户总能获取最新的资源，同时又能充分利用浏览器缓存。

然而，当Parquet文件路径不再包含哈希值时，这种缓存模式就被打破了。由于Parquet文件通常体积较大，缺少有效的缓存机制会导致性能问题。

技术影响

1. 缓存失效问题：部署新版本后，用户可能继续使用缓存的旧版Parquet文件
2. 性能影响：大文件无法被有效缓存，增加网络传输负担
3. 开发体验：本地开发时，过时的源文件清理变得更加复杂

解决方案

Evidence团队通过以下方式解决了这个问题：

1. 构建过程增强：在构建阶段复制源文件到构建目录时，自动计算并添加内容哈希
2. 清单文件更新：同步更新manifest.json文件以反映新的哈希路径
3. 测试保障：添加测试用例验证构建输出确实包含哈希化的Parquet文件路径

技术考量

值得注意的是，这种解决方案可能会对未来"远程Parquet"功能产生影响。例如，如果用户希望引用外部Parquet文件（如Iceberg表），当前的哈希机制可能需要调整。团队在设计解决方案时已经考虑到了这种潜在需求。

总结

Evidence项目通过恢复Parquet文件路径的哈希机制，解决了静态站点部署中的缓存问题。这一改进既保持了Vite原有的缓存优化模式，又考虑到了Parquet文件特有的体积特性。同时，团队在设计时也前瞻性地考虑了未来可能的功能扩展需求，体现了良好的架构设计思维。