EasyAIoT 联邦集群架构解析:多中心节点×多工作节点,如何支撑万节点弹性算力池

原创2026-10-29 13:38:051,917 阅读
文章标签:物联网后端微服务人工智能深度学习计算机视觉音视频视频前端边缘计算数字孪生数据可视化API网关云原生桌面应用

EasyAIoT 联邦集群架构解析:多中心节点×多工作节点,如何支撑万节点弹性算力池

EasyAIoT 是一款面向海量摄像头的物联网 AI 视频分析平台。当监控规模从几十路摄像头增长到上千路,单中心集群的算力与管控能力会成为瓶颈。本文带你拆解 EasyAIoT 的联邦集群架构:用「多中心节点 × 多工作节点」的泳道模型,把分散在不同机房、不同城市的算力汇聚成一个可统一调度的弹性算力池,帮助新手理解万节点弹性扩容背后的设计思路 🧩

一、为什么需要联邦?单中心集群的真实痛点

传统"一个管控中心 + 一堆计算节点"的架构,在三个场景下会先扛不住:

痛点 表现
管控单点 中心节点宕机,整个集群失联,无法新增/迁移任务
跨机房延迟 所有节点都向同一中心心跳、拉配置,跨城市部署时网络抖动放大
扩容天花板 单中心要维护的节点表、任务表无限膨胀,调度变慢、故障域变大

联邦化(Federated)的思路是:把中心本身也变成可复制的节点——每个机房部署一套中心控制面,彼此对等互联,各自"管"身边的一批工作节点;对上层用户来说,它们又呈现出一个统一集群。

二、联邦集群的两个角色:中心节点与工作节点

2.1 中心节点(Control Plane)

每个联邦成员都自带一个中心节点,它承担本泳道内的全部管控职责:

  • 节点纳管:录入服务器、测试 SSH、勾选功能(如 algorithm,forward,live)、设置权重
  • 全量离线下发:节点纳管后自动 SSH 同步 Sentinel Agent 整包并安装,断网机器也能装
  • 能力汇总:接收心跳快照,推导每个节点"此刻可调度哪些能力"
  • 任务调度:allocate / release 指令直接下发给节点执行

中心节点的集群管理面实现位于 DEVICE/iot-node/README.md,服务内部结构遵循"观察者汇聚"模式:经网关接收各节点上报,汇总组件与可调度能力。

2.2 工作节点与 Sentinel Agent

每台被纳管的工作节点上都会运行一个 Sentinel(哨兵)Agent,它是联邦架构里最关键的"毛细血管":

新增节点 ──全量离线包──▶ 目标机 /opt/easyaiot/sentinel-agent
        │
        ▼ systemd 启动
  SENTINEL 扫描组件 ──POST /heartbeat──▶ Gateway ──▶ NODE
        ▲                                      │
        └── 缺组件可请求 /sentinel/remediate ◀──┘

Sentinel 按勾选功能探测本机的 runtime、CUDA、SRS、ffmpeg、NFS 挂载等组件,把结果经网关回传给中心节点;发现缺失组件时还能主动请求 Remediator 分发补齐,实现节点级自愈。详见 SENTINEL/README.md,节点功能注册表见 SENTINEL/registry/functions.yaml。

2.3 「集群泳道」视图:一条泳道看全集群

联邦架构对用户呈现的核心概念是集群泳道(Cluster Lane):每个中心节点对应一条泳道,泳道内是该中心名下的中心节点 + 工作节点列表。泳道响应结构见 ClusterLaneRespVO.java,其中 laneKey 区分 local(本机)与 peer-{id}(远端),syncStatus 展示互联状态(online / offline / unknown / synced)。

运维人员在管理后台只需一页,就能纵览所有机房中心及其下属算力,就像看一条多车道的高速公路,哪条车道堵车、哪台车离线一目了然。

EasyAIoT联邦集群监控大屏:多中心节点统一汇聚的海量摄像头实时视频流与AI告警

三、两个中心如何互联?双向对等注册

联邦的"联邦"二字,体现在中心节点之间是对等互联而非主从关系。核心 API 定义在 ControlPlaneController.java,路径前缀为 /node/control-plane/。

3.1 三步添加对等中心节点

在任一中心的后台执行「添加对等中心节点」,只需填入对方中心的 API 地址,实现层见 ControlPlaneServiceImpl.java:

  1. 生成双向令牌:为本对等关系生成 peerToken,双方互相持有,作为身份凭据
  2. 出站注册:本机携带令牌调用对方的 /peer/register,把自己登记进对方集群
  3. 拉取快照:凭令牌调用对方 /snapshot 接口,获取其中心节点与全部工作节点列表

如果同步失败,对等关系标记为 offline,不影响本地泳道正常运行——故障域被天然隔离在单条泳道内 🛡️

3.2 令牌鉴权 + 快照同步的安全模型

  • 所有对等接口(registerPeer / getSnapshot)都通过 X-Peer-Token 请求头做身份校验,令牌不匹配直接拒绝
  • 快照只暴露"中心节点 + 工作节点元数据"这类只读拓扑信息,跨中心的管控动作(如批量维护)只允许作用于本机泳道
  • 任一中心的故障不会污染其他中心的数据库,快照拉取是幂等的,断线重连后重新 sync 即可对齐

四、弹性算力池的核心:调度打分算法

有了统一拓扑,"弹性"就体现在调度器上。核心实现 NodeSchedulerServiceImpl.java 分为过滤 → 打分 → 绑定三步,任何新任务(算法任务、推流转发、录像存储等)进来都会走一遍这个流程:

4.1 过滤:只留"合格"节点

过滤器会逐条检查候选节点:

  • 节点状态必须为 online(维护中的节点自动出局)
  • 功能匹配:任务要求 algorithm 能力的节点才有资格
  • 资源健康度:推流类任务会剔除 CPU ≥ 85% 或内存 ≥ 95% 的节点
  • GPU 需求:要求 GPU 时,只有配置了 maxGpuCount 或心跳上报了 GPU 硬件的节点通过
  • 容量上限:已运行任务数 < maxTaskCount,避免单机过载
  • 粘性优先:sticky=true 的任务优先回到原节点,保证录像连续性

4.2 打分与绑定:择优而非随机

通过过滤的候选节点按综合得分(资源余量、GPU 偏好、Sentinel 可调度能力等)降序排序,选中第一名后写入 node_workload_binding 绑定表并记录 bindAt 时间;任务结束时 release 释放绑定,算力即刻回归池中。全部候选都不满足时抛出 NODE_POOL_EXHAUSTED,让上层知道是"算力池耗尽"而不是静默失败。

4.3 维护与自愈:弹性伸缩的另一半

弹性不只是"加机器",还包括优雅下线:泳道批量操作支持 maintenance_on / maintenance_off,把节点批量切进维护态后,调度器自动把新任务导向其他节点,存量任务可迁移,完成后再切回在线。配合 Sentinel 的缺失组件自愈请求,集群具备了加入快、退出稳、故障自愈的完整弹性闭环。

五、这套架构如何支撑万节点规模?

把前面的设计串起来,万节点算力池的支撑点其实很朴素:

设计 对规模的贡献
中心节点可复制 管控面无单点,每个中心只维护自己泳道内的节点
泳道路由 用户视角统一集群,运维视角故障隔离,扩容=加泳道
对等令牌互联 快照式只读同步,中心间通信轻量,跨城市也稳定
心跳 + 可调度能力推导 调度器永远基于"节点当前真实能力"决策,而非静态配置
打分调度 + 绑定表 十万级节点中毫秒级选出最优一台,资源不空转也不过载
Sentinel 离线安装 + 自愈 新增一台工作节点全自动纳管,万节点扩容不停工

对使用者而言,这意味着:新机房上线只要部署一套 EasyAIoT 中心并添加一个对等关系,整个算力池就自动变大;而任务侧完全无感,调度器会把负载平滑地铺到所有泳道里 💪

六、快速上手建议

  1. 先在单中心环境部署 EasyAIoT,通过 DEVICE/iot-node/ 的 iot-node 服务纳管第一台工作节点,观察 Sentinel 心跳与能力汇总
  2. 部署第二套中心后,在「中心节点联邦」页面添加对等节点,确认泳道状态变为 online
  3. 创建带 GPU 需求的算法任务,验证调度是否按打分规则落到 GPU 节点
  4. 对某台节点执行 maintenance_on,观察新任务是否自动绕开它

相关模块路径

登录后查看全文
easyaiot