Rook项目Ceph对象存储网关SSL证书配置问题解析

在Rook项目中部署Ceph对象存储网关(RGW)时，启用SSL功能可能会遇到证书配置问题。本文将深入分析这一常见问题的根源，并提供完整的解决方案。

问题现象

当用户为Ceph对象存储网关配置SSL证书时，RGW Pod会持续崩溃并报错。主要错误信息显示系统无法找到预期的证书文件：

ssl_private_key was not found: rgw/cert/ceph-objectstore/ceph-objectstore.key
failed to use ssl_certificate=/etc/ceph/private/rgw-cert.pem as a private key: No such file or directory
no ssl_certificate configured for ssl_port

问题根源分析

这个问题主要由两个关键因素导致：

1. 监控节点响应延迟：当集群中设置了较长的paxos_propose_interval值（如30秒）时，监控节点的配置更新会变得缓慢。这种延迟会导致Rook Operator在等待配置更新时超时。

2. PG数量配置不足：对于RGW使用的存储池，如果初始PG数量设置过低，在创建多站点配置时可能会遇到提交失败的问题。

完整解决方案

1. 调整Operator超时设置

修改Rook Operator的配置，增加cephCommandsTimeoutSeconds参数值：

cephCommandsTimeoutSeconds: 120

这个调整确保了Operator有足够时间等待监控节点的响应。

2. 优化存储池配置

为RGW元数据池明确设置PG数量：

cephBlockPools:
  - name: rgw-metadata-pool
    spec:
      failureDomain: host
      replicated:
        size: 3
      application: rgw
      parameters:
        pg_num_min: "8"

3. 完整的RGW SSL配置示例

以下是经过验证可用的完整RGW配置示例：

cephObjectStores:
  - name: ceph-objectstore
    spec:
      metadataPool:
        failureDomain: host
        replicated:
          size: 3
      dataPool:
        failureDomain: host
        erasureCoded:
          dataChunks: 2
          codingChunks: 1
      gateway:
        port: 80
        securePort: 443
        sslCertificateRef: cert-ceph-objectstore-tls
        caBundleRef: trust-bundle-cabundle
        instances: 2

实施建议

1. 环境检查：在应用新配置前，确认现有存储池状态健康：

ceph osd pool ls detail

2. 部署顺序：

   • 首先创建或更新存储池配置
   • 然后部署RGW服务
   • 最后验证服务状态

3. 监控日志：部署后密切监控Operator和RGW Pod的日志，确保配置变更已正确应用。

总结

通过适当调整Operator超时设置和存储池配置，可以有效解决RGW SSL证书配置问题。这一解决方案不仅适用于家庭实验室环境，也适用于生产环境中的类似场景。关键在于理解Ceph集群各组件间的交互时序要求，以及为不同工作负载提供适当的资源分配。

对于生产环境，建议在变更前进行充分测试，并考虑设置监控告警来及时发现类似配置问题。同时，定期审查和优化PG数量配置，确保其与实际数据量相匹配。