在Grafana Tanka中部署Kong Ingress Controller的挑战与解决方案

背景介绍

Grafana Tanka是一个基于Jsonnet的Kubernetes配置管理工具，它允许开发者以声明式的方式管理Kubernetes资源。在实际使用中，用户经常需要通过Tanka来部署各种Helm chart，其中就包括流行的Kong Ingress Controller。

问题描述

当尝试通过Tanka部署Kong Ingress Controller时，用户遇到了一个典型的技术挑战。Kong官方提供的Helm chart实际上是一个"umbrella chart"（伞形图表），它会同时部署Ingress Controller和API Gateway两个组件。这种设计导致了CRD（Custom Resource Definition）资源的重复生成问题。

具体表现为：

1. 当设置includeCRDs: false时，Kong无法正确安装，因为缺少必要的CRD定义
2. 当设置includeCRDs: true时，Tanka会报错，因为相同的CRD被生成了两次

技术分析

这个问题的根源在于Kong Helm chart的设计架构。该chart实际上会调用"kong"子chart两次：

• 第一次调用用于部署Ingress Controller
• 第二次调用用于部署API Gateway

每次调用都会生成相同的CRD资源，而Tanka的默认行为是不允许资源重复定义，这是为了防止配置歧义和潜在的错误。例如，如果有两个Deployment定义，一个设置replicas:1，另一个设置replicas:10，Tanka无法自动决定应该采用哪个值。

解决方案

经过技术验证，目前有三种可行的解决方案：

方案一：直接使用kong子chart

放弃使用umbrella chart，改为直接调用kong子chart两次，分别配置Controller和Gateway组件。这种方案的优势是完全可控，但缺点是如果上游chart发生变化，可能需要手动调整。

方案二：分两次调用umbrella chart

通过两次调用umbrella chart，每次只启用一个组件（Controller或Gateway），并只在其中一次调用中包含CRD。这种方法保持了与上游chart的兼容性，但代码看起来有些冗余。

方案三：修改Tanka行为（不推荐）

理论上可以修改Tanka使其允许资源重复，但这会破坏Tanka的设计原则，可能导致其他潜在问题，因此不推荐使用。

最佳实践

基于上述分析，推荐采用方案二作为最佳实践。具体实现代码如下：

local tanka = import 'github.com/grafana/jsonnet-libs/tanka-util/main.libsonnet';
local helm = tanka.helm.new(std.thisFile);
{
  _config:: {
    ns: 'kong',
  },
  kong_ingress_controller: helm.template('kong', './charts/ingress/', {
    namespace: $._config.ns,
    includeCRDs: true,
    values+: {
      gateway+: { enabled: false },
    },
  }),
  kong_ingress_gateway: helm.template('kong', './charts/ingress/', {
    namespace: $._config.ns,
    includeCRDs: false,
    values+: {
      controller+: { enabled: false },
    },
  }),
  kong_namespace: {
    apiVersion: 'v1',
    kind: 'Namespace',
    metadata: {
      name: $._config.ns,
    },
  },
}

这种实现方式：

1. 保持了与上游chart的兼容性
2. 通过values配置明确区分了Controller和Gateway的部署
3. 只在Controller部署中包含CRD定义
4. 保持了Tanka的声明式特性

总结

在使用Tanka部署复杂Helm chart时，特别是那些采用umbrella设计的chart时，可能会遇到资源重复定义的问题。通过理解chart的内部结构和Tanka的设计原则，我们可以找到既保持上游兼容性又符合Tanka最佳实践的解决方案。对于Kong Ingress Controller的部署，推荐采用分两次调用umbrella chart的方案，这既解决了CRD重复的问题，又保持了配置的清晰性和可维护性。