在kube-hetzner中实现Longhorn存储路径自定义配置

背景介绍

kube-hetzner是一个使用Terraform在Hetzner Cloud上部署Kubernetes集群的项目。Longhorn作为Kubernetes的分布式块存储系统，常被用于提供持久化存储解决方案。在默认配置中，Longhorn使用固定的存储路径/var/longhorn，这限制了用户在不同类型存储设备(如NVMe和SSD)上灵活部署的能力。

问题分析

默认情况下，Longhorn模块将磁盘挂载路径硬编码为/var/longhorn，这带来了几个限制：

1. 无法在同一集群中同时使用不同类型的存储设备
2. 无法根据实际硬件配置优化存储路径
3. 缺乏灵活性，难以适应特殊部署需求

解决方案

通过修改Terraform配置，我们可以实现Longhorn存储路径的自定义配置。以下是关键实现步骤：

1. 创建Hetzner Cloud卷

首先使用Terraform的hcloud_volume资源创建存储卷，注意这里我们为每个agent节点创建独立的卷：

resource "hcloud_volume" "longhorn_volume" {
  for_each = { for k, v in local.agent_nodes : k => v if((v.longhorn_volume_size >= 10) && (v.longhorn_volume_size <= 10240) && var.enable_longhorn) }

  name              = "${var.cluster_name}-longhorn-${module.agents[each.key].name}"
  size              = local.agent_nodes[each.key].longhorn_volume_size
  server_id         = module.agents[each.key].id
  automount         = true
  format            = var.longhorn_fstype
  delete_protection = var.enable_delete_protection.volume
}

2. 配置挂载点和文件系统

使用null_resource和remote-exec配置挂载点和文件系统：

resource "null_resource" "configure_longhorn_volume" {
  for_each = { for k, v in local.agent_nodes : k => v if((v.longhorn_volume_size >= 10) && (v.longhorn_volume_size <= 10240) && var.enable_longhorn) }

  provisioner "remote-exec" {
    inline = [
      "mkdir /var/longhorn >/dev/null 2>&1",
      "mount -o discard,defaults ${hcloud_volume.longhorn_volume[each.key].linux_device} ${var.mount_path}",
      "${var.longhorn_fstype == "ext4" ? "resize2fs" : "xfs_growfs"} ${hcloud_volume.longhorn_volume[each.key].linux_device}",
      "echo '${hcloud_volume.longhorn_volume[each.key].linux_device} ${var.mount_path} ${var.longhorn_fstype} discard,nofail,defaults 0 0' >> /etc/fstab"
    ]
  }
}

3. 关键配置参数

实现灵活配置的关键在于以下几个参数：

1. var.mount_path - 允许用户自定义挂载路径
2. var.longhorn_fstype - 支持不同的文件系统类型(ext4/xfs)
3. 条件判断 - 根据节点配置动态创建资源

实现效果

通过这种配置方式，我们可以实现：

1. 在同一集群中创建多个存储类，分别对应不同类型的存储设备
2. 根据实际硬件性能优化存储路径
3. 更灵活地管理存储资源，提高资源利用率
4. 支持存储卷的动态扩展和配置变更

最佳实践建议

1. 对于高性能NVMe设备，建议挂载到/mnt/nvme等专用路径
2. 对于普通SSD设备，可以使用默认的/var/longhorn路径
3. 根据工作负载特点，合理分配不同类型的存储资源
4. 定期检查存储使用情况，及时调整存储配置

这种灵活的存储路径配置方案，使得kube-hetzner项目能够更好地适应不同规模和性能需求的Kubernetes集群部署场景。