vNPU实现原理(二):libvruntime.so劫持库的部署机制与自愈设计
vNPU实现原理(二):libvruntime.so劫持库的部署机制与自愈设计
vNPU 是一个基于 CANN ACL Runtime API 劫持技术和 volcano 调度器的 NPU 虚拟化项目,支持多容器共享昇腾 NPU 并实现 AICore 与显存隔离。上一篇文章介绍了 vNPU 的整体架构,这篇文章聚焦于软切分中一个关键角色的落地细节:劫持库 libvruntime.so 是如何被安全部署到每台 NPU 节点上的,以及它如何通过"5 秒自愈循环"抵御误删、篡改和版本漂移。
一、劫持库在 vNPU 软切分中的位置
vNPU 的软切分属于用户态虚拟化:它不需要修改硬件或驱动,而是通过预加载一个劫持库,在用户态拦截 CANN ACL Runtime API 的调用,按配额执行时间片调度与显存隔离(能力来源为 third_party/ubs-virt 子模块)。
劫持要生效,必须满足两个前提:
- 劫持库
libvruntime.so本身要稳定存在于节点的固定路径; - 容器内的每个进程启动时都要自动加载它。
这两点分别由 client_update 组件的部署机制和自愈设计来保证。
二、构建与打包:libvruntime.so 如何进入镜像 📦
libvruntime.so 由 CI 流水线从 ubs-virt 子模块编译产出,构建脚本为 build_acl_client.sh:
- 编译产物包括:
libvruntime.so(劫持库)、enpu-monitor(监控守护进程)、xpu-client-tool(客户端工具); - 编译完成后通过
objcopy剥离符号表以减小体积(见 _common_utils.sh 中的strip_symbols); - 同时把 ld.so.preload 和 systemd-detect-virt 等配套文件一并收集。
随后由 acl-client-update.Dockerfile 打镜像:所有产物复制到镜像的 /root/ 目录并设为只读(chmod=500),容器入口直接指向部署脚本:
COPY --link --from=build --chmod=500 /go/src/app/ci/output/* /root/
USER root
ENTRYPOINT ["/root/acl-client-update.sh"]
也就是说:镜像里不运行服务,它本身就是一个"安装包 + 部署器",容器一启动就开始往宿主机搬文件。
三、DaemonSet 部署:文件如何落位到 /opt/xpu 🚚
Helm chart 通过 npu-client-update-daemonset.yaml 在每个带 huawei.com/vnpu: ready 标签的节点上拉起一个 DaemonSet 容器。它唯一的职责是挂载宿主机的 /opt/xpu 目录(hostPath 卷),然后执行 acl-client-update.sh。
脚本内部采用声明式文件注册表:目的地 → 来源的映射用一个关联数组集中维护,新增文件只需加一行。默认注册表如下:
| 部署目标(宿主机) | 来源(镜像内) | 说明 |
|---|---|---|
/opt/xpu/lib/libvruntime.so |
/root/libvruntime.so |
NPU 劫持库本体 |
/opt/xpu/lib/ld.so.preload |
/root/ld.so.preload |
预加载清单,内容即劫持库路径 |
/opt/xpu/bin/enpu-monitor |
/root/enpu-monitor |
节点侧监控守护进程 |
/opt/xpu/bin/xpu-client-tool |
/root/xpu-client-tool |
客户端工具 |
/opt/xpu/bin/systemd-detect-virt |
/root/systemd-detect-virt |
虚拟环境检测伪装脚本 |
部署时有两个值得注意的权限设计:
- 所有落位文件权限为
555、目录为555:任何用户可读、无人可写,普通进程连覆盖修改都做不到; - 落位动作使用
install -m 555,一步完成复制 + 权限收紧,避免"先写后改权限"的中间窗口。
四、劫持如何生效:ld.so.preload + 设备插件挂载 🔗
部署只解决了"库在宿主机上",容器内进程如何自动加载它?这里由设备插件配合完成,逻辑见 plugin.go 中的三条固定路径常量:
| 常量 | 宿主机路径 | 容器内路径 |
|---|---|---|
preloadLibPath |
/opt/xpu/lib/libvruntime.so |
/opt/xpu/lib/libvruntime.so(只读挂载) |
hostPreloadPath |
/opt/xpu/lib/ld.so.preload |
/etc/ld.so.preload(只读挂载) |
| detect-virt 脚本 | /opt/xpu/bin/systemd-detect-virt |
systemd 检测路径(只读挂载) |
Linux 动态链接器在任何可执行文件启动前都会读取 /etc/ld.so.preload 并预加载其中列出的共享库。设备插件在 Allocate 响应里把宿主机上的 ld.so.preload(内容只有一行:/opt/xpu/lib/libvruntime.so)挂载为容器的 /etc/ld.so.preload,于是容器内所有进程启动时都会自动加载劫持库——业务代码零改造。
加载之后,劫持库读取设备插件为每个容器写入的 npu_info.config(包含 aicore-quota、memory-quota、scheduling-policy 等键值,写入逻辑见 plugin.go 的 writeVxpuInfo),据此执行 AICore 时间片调度和显存硬隔离。
一个巧妙的例外:如果 Pod 申请的是整卡(isFullCard 判断,plugin.go),设备插件直接跳过 preload 相关挂载——整卡无需切分,也就无需劫持,性能损耗为零。
五、自愈设计:5 秒发现篡改,自动还原 🛡️
部署完成不是终点。节点文件可能被误删、被恶意篡改、被 CANN 升级覆盖,甚至容器重启后状态漂移。acl-client-update.sh 的主循环就是为此设计的:
while true; do
# 逐一对注册表中的文件做 MD5 校验,缺失或被改即还原
# 符号链接(xpu-monitor -> enpu-monitor)指向异常即重建
sleep "${HEAL_INTERVAL}" # HEAL_INTERVAL=5
done
自愈循环的判定策略分三种情况:
- 目标文件不存在 → 直接
install重装,日志输出is installed; - MD5 与镜像内源文件不一致(被改/被换)→ 覆盖还原,日志输出
is restored; - 一致 → 什么都不做,零开销通过。
配合前面提到的 555 只读权限,就形成了"权限挡常规篡改 + 自愈循环兜底极端情况"的双保险。对运维来说这意味着:劫持库永远以镜像内这份"金本位"为准,节点侧的任何漂移都会在 5 秒内被纠正,排障时也不存在"不知道节点上到底跑的是哪个版本"的问题。
六、细节赏析:三个不起眼的文件
- systemd-detect-virt:一个仅两行的 shell 脚本,输出
container-other。它被挂载覆盖容器内的 systemd 环境检测路径,让劫持库/监控进程误以为自己运行在宿主机环境而非容器中,从而执行节点级行为。一个 18 字节的脚本,是"用户态虚拟化"伪装术的典型样本; - 符号链接注册表:
/opt/xpu/bin/xpu-monitor只是指向enpu-monitor的软链,同样纳入自愈检查(sync_symlink),保证对外暴露的工具名稳定; - 镜像名与型号解耦:目前 chart 默认镜像按型号区分(如
acl-client-update-910b,见 values.yaml),但部署脚本本身芯片无关——设计文档 0002-support-Ascend-950.md 中已规划统一为单一通用镜像,进一步简化部署面。
七、小结
| 层次 | 机制 | 解决的问题 |
|---|---|---|
| 构建 | CI 编译 + 符号剥离 + 镜像打包 | 产物干净、入口即部署器 |
| 部署 | DaemonSet + hostPath 声明式落位 | 全节点自动安装,无需人工介入 |
| 权限 | 文件/目录 555 只读 |
常规进程无法篡改劫持库 |
| 劫持 | ld.so.preload 只读挂载 |
容器进程零改造自动加载 |
| 自愈 | 5 秒 MD5 校验循环 | 抗误删、抗篡改、抗版本漂移 |
client_update 组件没有一行"智能"代码,却用最朴素的注册表 + 校验循环,为 vNPU 软切分的地基——那个对所有进程"先声夺人"的 libvruntime.so——提供了生产级的可靠性。这大概就是基础设施代码的魅力:越简单,越可信。🎯
延伸阅读:项目整体介绍见 README-zh.md,部署步骤见 docs/user-guide.md。