ClickHouse Operator中为LoadBalancer服务添加AWS注解的配置方法

在Kubernetes环境中使用ClickHouse Operator部署ClickHouse集群时，系统会自动创建AWS Network Load Balancer (NLB)服务。但默认配置下，该服务可能存在连接超时时间过短或访问限制等问题，需要通过添加特定注解来优化服务行为。

核心配置原理

ClickHouse Operator通过服务模板(ServiceTemplate)机制来定义服务的各项参数，包括metadata中的annotations字段。这些注解会被最终传递到Kubernetes Service资源上，进而影响AWS云服务的具体配置。

关键配置步骤

1. 理解服务模板结构
   服务模板位于ClickHouseInstallation(CRD)资源的spec.templates.serviceTemplates路径下，其中metadata.annotations字段用于存储需要添加的各类注解。

2. 配置AWS特定注解
   对于AWS NLB服务，有两个关键注解需要配置：

   • service.beta.kubernetes.io/aws-load-balancer-connection-idle-timeout：设置连接空闲超时时间（单位：秒）
   • service.beta.kubernetes.io/load-balancer-source-ranges：限制允许访问的IP地址范围

3. 实现方式示例
   以下YAML片段展示了如何在ClickHouse集群定义中添加服务注解：

spec:
  templates:
    serviceTemplates:
      - name: my-service-template
        metadata:
          annotations:
            service.beta.kubernetes.io/aws-load-balancer-connection-idle-timeout: "3600"
            service.beta.kubernetes.io/load-balancer-source-ranges: "192.168.1.0/24"

高级配置建议

1. 超时时间优化
   根据业务特点设置合理的连接超时时间，对于长查询场景建议增大该值，避免连接被意外中断。

2. 安全访问控制
   通过source-ranges限制访问源IP时，应考虑业务实际需求，确保不会过度限制合法访问。

3. 多环境适配
   不同云厂商的注解前缀可能不同，在混合云或多云环境中部署时需要注意区分。

验证与调试

配置完成后，可以通过以下命令验证注解是否生效：

kubectl get svc <service-name> -o jsonpath='{.metadata.annotations}'

若发现配置未生效，建议检查：

• 服务模板是否被正确引用
• 注解名称是否拼写正确
• 是否有更高优先级的配置覆盖了当前设置