Incus项目中的集群资源缓存机制优化

背景介绍

在Incus容器管理系统中，集群环境下的资源管理是一个关键功能。系统需要准确获取集群中各个节点的硬件资源信息，特别是CPU特性标志，以确保容器能够在不同节点间正确迁移和运行。原有的实现方式存在一些设计上的不足，需要进行架构优化。

原有实现的问题

Incus原本通过心跳机制来收集集群节点的资源信息，并将这些信息缓存在本地文件系统中。这种实现存在两个主要缺陷：

1. 领导者节点问题：集群领导者节点不会接收其他节点的心跳信息，导致其资源缓存不完整
2. 本地节点问题：节点不会通过心跳机制收集自身的资源信息

这些问题通过临时性解决方案勉强工作，但随着系统发展，这种设计变得越来越难以维护。

优化方案设计

新的设计方案将资源缓存逻辑从心跳机制中解耦，改为在资源实际被使用时按需获取。核心思想是：

1. 按需获取：仅在需要节点资源信息时才进行获取和缓存
2. 统一接口：提供统一的getNodeResources函数处理所有节点的资源获取
3. 缓存管理：自动管理缓存的有效期，过期后自动更新

技术实现细节

新的getNodeResources函数实现了以下逻辑：

1. 首先检查本地缓存中是否存在目标节点的资源信息
2. 如果缓存存在但超过1天有效期，则丢弃旧缓存
3. 当需要获取新数据时：
   • 对于本地节点：直接调用resources.GetResources()
   • 对于远程节点：通过RPC调用获取GetServerResources()
4. 将获取的资源信息写入缓存文件
5. 返回资源数据

这种实现方式相比原有方案有几个优势：

• 可靠性更高：不再依赖心跳机制，领导者节点也能获取完整资源信息
• 代码更简洁：消除了特殊情况的处理逻辑
• 性能更好：按需获取减少了不必要的网络通信

实际应用

优化后的资源缓存机制主要用于集群CPU标志的计算。当需要确定集群中所有节点共有的CPU特性时，系统会调用GetClusterCPUFlags函数，该函数现在通过新的getNodeResources接口获取各节点资源信息。

总结

这次优化解决了Incus集群资源管理中长期存在的设计问题，使系统更加健壮和可维护。通过将资源获取逻辑集中化和标准化，不仅提高了代码质量，也为未来可能的扩展打下了良好基础。这种"按需获取"的设计模式也值得在其他类似场景中借鉴。