OpenObserve 从0.13.1升级到0.14.4版本后对象存储路径变更问题解析

问题背景

OpenObserve是一款开源的日志管理和分析平台，在从0.13.1版本升级到0.14.4版本后，用户发现对象存储的路径结构发生了变化。具体表现为：原本存储在阿里云OSS的路径格式为<bucketname>/OPENOBSERVE，升级后变为了<bucketname>/<bucketname>/OPENOBSERVE，即在存储桶内自动创建了一个与存储桶同名的子目录。

技术原因分析

这一变化源于OpenObserve 0.14.4版本对S3兼容存储的路径处理逻辑进行了调整。在旧版本中，系统默认使用路径样式(path-style)访问S3存储，而在新版本中，默认改用了虚拟托管样式(virtual-hosted-style)访问。

这两种访问方式的区别在于：

• 路径样式：https://s3.amazonaws.com/bucketname/keyname
• 虚拟托管样式：https://bucketname.s3.amazonaws.com/keyname

对于阿里云OSS这类兼容S3的存储服务，路径处理方式的改变导致了存储目录结构的变化。

解决方案

开发团队已在微信技术群中发布过针对OSS用户的警告信息。正确的解决步骤如下：

1. 停止OpenObserve服务（如使用docker-compose则执行相应停止命令）
2. 修改配置文件，将原有的：

   ZO_S3_FEATURE_FORCE_PATH_STYLE=true
   

   替换为：

   ZO_S3_FEATURE_FORCE_HOSTED_STYLE=true
   

3. 重新启动OpenObserve服务
4. 将旧路径下的数据复制到新路径中

操作建议

对于已经出现此问题的用户，建议按照以下步骤处理：

1. 首先完成上述配置变更
2. 使用OSS管理工具或命令行工具，将<bucketname>/OPENOBSERVE目录下的所有内容复制到<bucketname>/<bucketname>/OPENOBSERVE目录
3. 验证数据完整性后，可选择性删除旧目录

注意事项

1. 在进行数据迁移前，建议先备份重要数据
2. 对于生产环境，建议在非高峰期执行此操作
3. 操作完成后，应检查OpenObserve的各项功能是否正常工作
4. 对于大规模数据迁移，可能需要考虑使用阿里云OSS的批量操作功能以提高效率

总结

OpenObserve 0.14.4版本对S3兼容存储的访问方式进行了优化调整，这虽然带来了短期的兼容性问题，但从长远来看有助于提高系统的兼容性和稳定性。用户只需按照上述步骤进行配置调整和数据迁移，即可顺利完成版本升级。