vNPU实现原理(二):libvruntime.so劫持库的部署机制与自愈设计

原创2026-11-14 20:47:141,849 阅读
文章标签:云原生容器编排任务调度指标监控可观测性Ascend人工智能

vNPU实现原理(二):libvruntime.so劫持库的部署机制与自愈设计

vNPU 是一个基于 CANN ACL Runtime API 劫持技术和 volcano 调度器的 NPU 虚拟化项目,支持多容器共享昇腾 NPU 并实现 AICore 与显存隔离。上一篇文章介绍了 vNPU 的整体架构,这篇文章聚焦于软切分中一个关键角色的落地细节:劫持库 libvruntime.so 是如何被安全部署到每台 NPU 节点上的,以及它如何通过"5 秒自愈循环"抵御误删、篡改和版本漂移。

一、劫持库在 vNPU 软切分中的位置

vNPU 的软切分属于用户态虚拟化:它不需要修改硬件或驱动,而是通过预加载一个劫持库,在用户态拦截 CANN ACL Runtime API 的调用,按配额执行时间片调度与显存隔离(能力来源为 third_party/ubs-virt 子模块)。

劫持要生效,必须满足两个前提:

  1. 劫持库 libvruntime.so 本身要稳定存在于节点的固定路径;
  2. 容器内的每个进程启动时都要自动加载它。

这两点分别由 client_update 组件的部署机制和自愈设计来保证。

二、构建与打包:libvruntime.so 如何进入镜像 📦

libvruntime.so 由 CI 流水线从 ubs-virt 子模块编译产出,构建脚本为 build_acl_client.sh:

  • 编译产物包括:libvruntime.so(劫持库)、enpu-monitor(监控守护进程)、xpu-client-tool(客户端工具);
  • 编译完成后通过 objcopy 剥离符号表以减小体积(见 _common_utils.sh 中的 strip_symbols);
  • 同时把 ld.so.preload 和 systemd-detect-virt 等配套文件一并收集。

随后由 acl-client-update.Dockerfile 打镜像:所有产物复制到镜像的 /root/ 目录并设为只读(chmod=500),容器入口直接指向部署脚本:

COPY --link --from=build --chmod=500 /go/src/app/ci/output/* /root/
USER root
ENTRYPOINT ["/root/acl-client-update.sh"]

也就是说:镜像里不运行服务,它本身就是一个"安装包 + 部署器",容器一启动就开始往宿主机搬文件。

三、DaemonSet 部署:文件如何落位到 /opt/xpu 🚚

Helm chart 通过 npu-client-update-daemonset.yaml 在每个带 huawei.com/vnpu: ready 标签的节点上拉起一个 DaemonSet 容器。它唯一的职责是挂载宿主机的 /opt/xpu 目录(hostPath 卷),然后执行 acl-client-update.sh。

脚本内部采用声明式文件注册表:目的地 → 来源的映射用一个关联数组集中维护,新增文件只需加一行。默认注册表如下:

部署目标(宿主机) 来源(镜像内) 说明
/opt/xpu/lib/libvruntime.so /root/libvruntime.so NPU 劫持库本体
/opt/xpu/lib/ld.so.preload /root/ld.so.preload 预加载清单,内容即劫持库路径
/opt/xpu/bin/enpu-monitor /root/enpu-monitor 节点侧监控守护进程
/opt/xpu/bin/xpu-client-tool /root/xpu-client-tool 客户端工具
/opt/xpu/bin/systemd-detect-virt /root/systemd-detect-virt 虚拟环境检测伪装脚本

部署时有两个值得注意的权限设计:

  • 所有落位文件权限为 555、目录为 555:任何用户可读、无人可写,普通进程连覆盖修改都做不到;
  • 落位动作使用 install -m 555,一步完成复制 + 权限收紧,避免"先写后改权限"的中间窗口。

四、劫持如何生效:ld.so.preload + 设备插件挂载 🔗

部署只解决了"库在宿主机上",容器内进程如何自动加载它?这里由设备插件配合完成,逻辑见 plugin.go 中的三条固定路径常量:

常量 宿主机路径 容器内路径
preloadLibPath /opt/xpu/lib/libvruntime.so /opt/xpu/lib/libvruntime.so(只读挂载)
hostPreloadPath /opt/xpu/lib/ld.so.preload /etc/ld.so.preload(只读挂载)
detect-virt 脚本 /opt/xpu/bin/systemd-detect-virt systemd 检测路径(只读挂载)

Linux 动态链接器在任何可执行文件启动前都会读取 /etc/ld.so.preload 并预加载其中列出的共享库。设备插件在 Allocate 响应里把宿主机上的 ld.so.preload(内容只有一行:/opt/xpu/lib/libvruntime.so)挂载为容器的 /etc/ld.so.preload,于是容器内所有进程启动时都会自动加载劫持库——业务代码零改造。

加载之后,劫持库读取设备插件为每个容器写入的 npu_info.config(包含 aicore-quota、memory-quota、scheduling-policy 等键值,写入逻辑见 plugin.go 的 writeVxpuInfo),据此执行 AICore 时间片调度和显存硬隔离。

一个巧妙的例外:如果 Pod 申请的是整卡(isFullCard 判断,plugin.go),设备插件直接跳过 preload 相关挂载——整卡无需切分,也就无需劫持,性能损耗为零。

五、自愈设计:5 秒发现篡改,自动还原 🛡️

部署完成不是终点。节点文件可能被误删、被恶意篡改、被 CANN 升级覆盖,甚至容器重启后状态漂移。acl-client-update.sh 的主循环就是为此设计的:

while true; do
    # 逐一对注册表中的文件做 MD5 校验,缺失或被改即还原
    # 符号链接(xpu-monitor -> enpu-monitor)指向异常即重建
    sleep "${HEAL_INTERVAL}"   # HEAL_INTERVAL=5
done

自愈循环的判定策略分三种情况:

  1. 目标文件不存在 → 直接 install 重装,日志输出 is installed;
  2. MD5 与镜像内源文件不一致(被改/被换)→ 覆盖还原,日志输出 is restored;
  3. 一致 → 什么都不做,零开销通过。

配合前面提到的 555 只读权限,就形成了"权限挡常规篡改 + 自愈循环兜底极端情况"的双保险。对运维来说这意味着:劫持库永远以镜像内这份"金本位"为准,节点侧的任何漂移都会在 5 秒内被纠正,排障时也不存在"不知道节点上到底跑的是哪个版本"的问题。

六、细节赏析:三个不起眼的文件

  • systemd-detect-virt:一个仅两行的 shell 脚本,输出 container-other。它被挂载覆盖容器内的 systemd 环境检测路径,让劫持库/监控进程误以为自己运行在宿主机环境而非容器中,从而执行节点级行为。一个 18 字节的脚本,是"用户态虚拟化"伪装术的典型样本;
  • 符号链接注册表:/opt/xpu/bin/xpu-monitor 只是指向 enpu-monitor 的软链,同样纳入自愈检查(sync_symlink),保证对外暴露的工具名稳定;
  • 镜像名与型号解耦:目前 chart 默认镜像按型号区分(如 acl-client-update-910b,见 values.yaml),但部署脚本本身芯片无关——设计文档 0002-support-Ascend-950.md 中已规划统一为单一通用镜像,进一步简化部署面。

七、小结

层次 机制 解决的问题
构建 CI 编译 + 符号剥离 + 镜像打包 产物干净、入口即部署器
部署 DaemonSet + hostPath 声明式落位 全节点自动安装,无需人工介入
权限 文件/目录 555 只读 常规进程无法篡改劫持库
劫持 ld.so.preload 只读挂载 容器进程零改造自动加载
自愈 5 秒 MD5 校验循环 抗误删、抗篡改、抗版本漂移

client_update 组件没有一行"智能"代码,却用最朴素的注册表 + 校验循环,为 vNPU 软切分的地基——那个对所有进程"先声夺人"的 libvruntime.so——提供了生产级的可靠性。这大概就是基础设施代码的魅力:越简单,越可信。🎯

延伸阅读:项目整体介绍见 README-zh.md,部署步骤见 docs/user-guide.md。

登录后查看全文
vNPU