EasyAIoT 联邦集群架构解析:多中心节点×多工作节点,如何支撑万节点弹性算力池
EasyAIoT 联邦集群架构解析:多中心节点×多工作节点,如何支撑万节点弹性算力池
EasyAIoT 是一款面向海量摄像头的物联网 AI 视频分析平台。当监控规模从几十路摄像头增长到上千路,单中心集群的算力与管控能力会成为瓶颈。本文带你拆解 EasyAIoT 的联邦集群架构:用「多中心节点 × 多工作节点」的泳道模型,把分散在不同机房、不同城市的算力汇聚成一个可统一调度的弹性算力池,帮助新手理解万节点弹性扩容背后的设计思路 🧩
一、为什么需要联邦?单中心集群的真实痛点
传统"一个管控中心 + 一堆计算节点"的架构,在三个场景下会先扛不住:
| 痛点 | 表现 |
|---|---|
| 管控单点 | 中心节点宕机,整个集群失联,无法新增/迁移任务 |
| 跨机房延迟 | 所有节点都向同一中心心跳、拉配置,跨城市部署时网络抖动放大 |
| 扩容天花板 | 单中心要维护的节点表、任务表无限膨胀,调度变慢、故障域变大 |
联邦化(Federated)的思路是:把中心本身也变成可复制的节点——每个机房部署一套中心控制面,彼此对等互联,各自"管"身边的一批工作节点;对上层用户来说,它们又呈现出一个统一集群。
二、联邦集群的两个角色:中心节点与工作节点
2.1 中心节点(Control Plane)
每个联邦成员都自带一个中心节点,它承担本泳道内的全部管控职责:
- 节点纳管:录入服务器、测试 SSH、勾选功能(如
algorithm,forward,live)、设置权重 - 全量离线下发:节点纳管后自动 SSH 同步 Sentinel Agent 整包并安装,断网机器也能装
- 能力汇总:接收心跳快照,推导每个节点"此刻可调度哪些能力"
- 任务调度:allocate / release 指令直接下发给节点执行
中心节点的集群管理面实现位于 DEVICE/iot-node/README.md,服务内部结构遵循"观察者汇聚"模式:经网关接收各节点上报,汇总组件与可调度能力。
2.2 工作节点与 Sentinel Agent
每台被纳管的工作节点上都会运行一个 Sentinel(哨兵)Agent,它是联邦架构里最关键的"毛细血管":
新增节点 ──全量离线包──▶ 目标机 /opt/easyaiot/sentinel-agent
│
▼ systemd 启动
SENTINEL 扫描组件 ──POST /heartbeat──▶ Gateway ──▶ NODE
▲ │
└── 缺组件可请求 /sentinel/remediate ◀──┘
Sentinel 按勾选功能探测本机的 runtime、CUDA、SRS、ffmpeg、NFS 挂载等组件,把结果经网关回传给中心节点;发现缺失组件时还能主动请求 Remediator 分发补齐,实现节点级自愈。详见 SENTINEL/README.md,节点功能注册表见 SENTINEL/registry/functions.yaml。
2.3 「集群泳道」视图:一条泳道看全集群
联邦架构对用户呈现的核心概念是集群泳道(Cluster Lane):每个中心节点对应一条泳道,泳道内是该中心名下的中心节点 + 工作节点列表。泳道响应结构见 ClusterLaneRespVO.java,其中 laneKey 区分 local(本机)与 peer-{id}(远端),syncStatus 展示互联状态(online / offline / unknown / synced)。
运维人员在管理后台只需一页,就能纵览所有机房中心及其下属算力,就像看一条多车道的高速公路,哪条车道堵车、哪台车离线一目了然。
三、两个中心如何互联?双向对等注册
联邦的"联邦"二字,体现在中心节点之间是对等互联而非主从关系。核心 API 定义在 ControlPlaneController.java,路径前缀为 /node/control-plane/。
3.1 三步添加对等中心节点
在任一中心的后台执行「添加对等中心节点」,只需填入对方中心的 API 地址,实现层见 ControlPlaneServiceImpl.java:
- 生成双向令牌:为本对等关系生成
peerToken,双方互相持有,作为身份凭据 - 出站注册:本机携带令牌调用对方的
/peer/register,把自己登记进对方集群 - 拉取快照:凭令牌调用对方
/snapshot接口,获取其中心节点与全部工作节点列表
如果同步失败,对等关系标记为 offline,不影响本地泳道正常运行——故障域被天然隔离在单条泳道内 🛡️
3.2 令牌鉴权 + 快照同步的安全模型
- 所有对等接口(
registerPeer/getSnapshot)都通过X-Peer-Token请求头做身份校验,令牌不匹配直接拒绝 - 快照只暴露"中心节点 + 工作节点元数据"这类只读拓扑信息,跨中心的管控动作(如批量维护)只允许作用于本机泳道
- 任一中心的故障不会污染其他中心的数据库,快照拉取是幂等的,断线重连后重新 sync 即可对齐
四、弹性算力池的核心:调度打分算法
有了统一拓扑,"弹性"就体现在调度器上。核心实现 NodeSchedulerServiceImpl.java 分为过滤 → 打分 → 绑定三步,任何新任务(算法任务、推流转发、录像存储等)进来都会走一遍这个流程:
4.1 过滤:只留"合格"节点
过滤器会逐条检查候选节点:
- 节点状态必须为
online(维护中的节点自动出局) - 功能匹配:任务要求
algorithm能力的节点才有资格 - 资源健康度:推流类任务会剔除 CPU ≥ 85% 或内存 ≥ 95% 的节点
- GPU 需求:要求 GPU 时,只有配置了
maxGpuCount或心跳上报了 GPU 硬件的节点通过 - 容量上限:已运行任务数
< maxTaskCount,避免单机过载 - 粘性优先:
sticky=true的任务优先回到原节点,保证录像连续性
4.2 打分与绑定:择优而非随机
通过过滤的候选节点按综合得分(资源余量、GPU 偏好、Sentinel 可调度能力等)降序排序,选中第一名后写入 node_workload_binding 绑定表并记录 bindAt 时间;任务结束时 release 释放绑定,算力即刻回归池中。全部候选都不满足时抛出 NODE_POOL_EXHAUSTED,让上层知道是"算力池耗尽"而不是静默失败。
4.3 维护与自愈:弹性伸缩的另一半
弹性不只是"加机器",还包括优雅下线:泳道批量操作支持 maintenance_on / maintenance_off,把节点批量切进维护态后,调度器自动把新任务导向其他节点,存量任务可迁移,完成后再切回在线。配合 Sentinel 的缺失组件自愈请求,集群具备了加入快、退出稳、故障自愈的完整弹性闭环。
五、这套架构如何支撑万节点规模?
把前面的设计串起来,万节点算力池的支撑点其实很朴素:
| 设计 | 对规模的贡献 |
|---|---|
| 中心节点可复制 | 管控面无单点,每个中心只维护自己泳道内的节点 |
| 泳道路由 | 用户视角统一集群,运维视角故障隔离,扩容=加泳道 |
| 对等令牌互联 | 快照式只读同步,中心间通信轻量,跨城市也稳定 |
| 心跳 + 可调度能力推导 | 调度器永远基于"节点当前真实能力"决策,而非静态配置 |
| 打分调度 + 绑定表 | 十万级节点中毫秒级选出最优一台,资源不空转也不过载 |
| Sentinel 离线安装 + 自愈 | 新增一台工作节点全自动纳管,万节点扩容不停工 |
对使用者而言,这意味着:新机房上线只要部署一套 EasyAIoT 中心并添加一个对等关系,整个算力池就自动变大;而任务侧完全无感,调度器会把负载平滑地铺到所有泳道里 💪
六、快速上手建议
- 先在单中心环境部署 EasyAIoT,通过 DEVICE/iot-node/ 的
iot-node服务纳管第一台工作节点,观察 Sentinel 心跳与能力汇总 - 部署第二套中心后,在「中心节点联邦」页面添加对等节点,确认泳道状态变为
online - 创建带 GPU 需求的算法任务,验证调度是否按打分规则落到 GPU 节点
- 对某台节点执行
maintenance_on,观察新任务是否自动绕开它
相关模块路径
- 集群管理面(控制面汇总):DEVICE/iot-node/
- 中心节点联邦 API:ControlPlaneController.java
- 泳道分页接口实现:ControlPlaneServiceImpl.java
- 调度服务接口:NodeSchedulerService.java
- 边缘哨兵 Agent:SENTINEL/README.md
- 节点能力注册表:SENTINEL/registry/functions.yaml
