CANN Runtime Memory 模块深度解析:设备内存分配、拷贝、IPC 共享的架构与源码级实现

原创2026-09-17 11:16:491,675 阅读
文章标签:人工智能Ascend任务调度性能剖析

CANN Runtime Memory 模块深度解析:设备内存分配、拷贝、IPC 共享的架构与源码级实现

本文基于 CANN Runtime 仓库中 Memory 模块的设计文档,系统讲解该模块的设备内存分配策略、同步/异步/批量内存拷贝、物理内存管理与进程间 IPC 内存共享的完整设计脉络,并结合仓库源码逐层印证从 ACL 接口到 HAL、驱动的内部调用链,帮助开发者建立"接口使用 + 底层原理"的双重视图,从而在内存性能调优、跨进程共享与故障排查中做出准确决策。

1. 模块概述与设计目标

Memory 模块是 CANN Runtime 中负责管理设备内存分配、操作和释放的核心模块。它对外提供了一套完整的内存管理 API,使开发者能够高效便捷地管理应用程序中的内存使用。该模块的设计目标有四点:

  • 提供统一的内存管理接口:设备内存、主机内存、物理内存、IPC 共享内存统一经由 aclrt 系列接口操作;
  • 支持多种内存类型:包括普通页、2MB 大页、1G 大页、P2P 场景内存、高/低带宽内存类型等;
  • 支持高效的内存拷贝:提供同步、异步、2D、批量多种拷贝形态,异步拷贝通过 Stream 任务机制执行;
  • 支持进程间内存共享:通过 IPC 导出/导入机制,不同进程可访问同一块设备物理内存,避免数据拷贝开销。

2. 使用场景与对外接口

2.1 基本使用场景

Memory 模块覆盖了内存生命周期中的六类典型场景,以下逐一给出文档定义的用法。

场景一:分配 Device 内存

void *devPtr;
aclrtMalloc(&devPtr, size, ACL_MEM_MALLOC_HUGE_FIRST);

场景二:分配 Host 内存

void *hostPtr;
aclrtMallocHost(&hostPtr, size);

场景三:同步内存拷贝

aclrtMemcpy(dstPtr, dstSize, srcPtr, srcSize, ACL_MEMCPY_HOST_TO_DEVICE);

场景四:异步内存拷贝

aclrtStream stream;
aclrtCreateStream(&stream);
// 异步拷贝,不阻塞主机
aclrtMemcpyAsync(dstPtr, dstSize, srcPtr, srcSize, ACL_MEMCPY_HOST_TO_DEVICE, stream);

场景五:IPC 内存共享

// 进程 A:导出共享句柄
void *ptr;
aclrtMalloc(&ptr, size, ACL_MEM_MALLOC_HUGE_FIRST);  // 提前申请设备内存
char key[65];
aclrtIpcMemGetExportKey(ptr, size, key, 65, ACL_RT_IPC_MEM_EXPORT_FLAG_DEFAULT);

// 进程 B:导入共享内存
void *sharedPtr;
aclrtIpcMemImportByKey(&sharedPtr, key, ACL_RT_IPC_MEM_IMPORT_FLAG_DEFAULT);

// 使用完成后关闭 IPC 内存
aclrtIpcMemClose(key);
aclrtFree(ptr);  // 进程 A 释放原内存

场景六:物理内存管理

aclrtDrvMemHandle handle;
aclrtPhysicalMemProp prop = {...};
aclrtMallocPhysical(&handle, size, &prop, 0);  // 分配物理内存
void *virPtr;
aclrtReserveMemAddress(&virPtr, size, 0, nullptr, 0);  // 预留虚拟地址空间
aclrtMapMem(virPtr, size, 0, handle, 0);  // 映射物理内存到虚拟地址

// 使用完成后解除映射并释放内存
aclrtUnmapMem(virPtr);  // 解除映射
aclrtReleaseMemAddress(virPtr);  // 释放虚拟地址空间
aclrtFreePhysical(handle);  // 释放物理内存

仓库 example/ 目录下提供了对应的可运行示例,例如 example/1_basic_features/memory/ 中的 H2H/H2D/D2D 各类拷贝示例,以及 10_ipc_memory_withpid、11_ipc_memory_withoutpid 两个 IPC 共享示例,可作为上述场景六类的落地参考。

2.2 对外接口总览

Memory 模块的对外接口按功能分为五组,完整清单如下:

接口 说明
内存分配/释放
aclrtMalloc/aclrtMallocWithCfg 分配设备内存
aclrtMallocHost/aclrtMallocHostWithCfg 分配主机内存
aclrtFree 释放设备内存
aclrtFreeHost 释放主机内存
内存拷贝
aclrtMemcpy/aclrtMemcpyAsync 内存同步/异步拷贝
aclrtMemcpy2d/aclrtMemcpy2dAsync 2D 内存同步/异步拷贝
aclrtMemcpyBatch/aclrtMemcpyBatchAsync 批量内存同步/异步拷贝
内存设置
aclrtMemset 内存设置
aclrtMemsetAsync 异步内存设置
物理内存管理
aclrtMallocPhysical 分配物理内存
aclrtReserveMemAddress 预留虚拟地址空间
aclrtMapMem 映射物理内存到虚拟地址
aclrtUnmapMem 解除内存映射
aclrtReleaseMemAddress 释放虚拟地址空间
aclrtFreePhysical 释放物理内存
内存注册
aclrtHostRegister 注册主机内存
aclrtHostUnregister 取消主机内存注册

从源码结构看,这些接口全部声明于 acl_rt.h 头文件中(如 aclrtMalloc 声明于该文件 L1914、aclrtIpcMemGetExportKey 于 L4644),并配套提供 aclrtMallocAlign32、aclrtMallocCached、aclrtMemcpyBatchV2 等扩展变体,供对对齐或缓存行为有额外要求的场景使用。

2.3 内存拷贝类型

aclrtMemcpy 系列接口通过 kind 参数指定拷贝方向,完整类型如下:

拷贝类型 说明
ACL_MEMCPY_HOST_TO_HOST 主机到主机
ACL_MEMCPY_HOST_TO_DEVICE 主机到设备
ACL_MEMCPY_DEVICE_TO_HOST 设备到主机
ACL_MEMCPY_DEVICE_TO_DEVICE 设备到设备
ACL_MEMCPY_DEFAULT 默认拷贝类型(系统自动推断方向)
ACL_MEMCPY_HOST_TO_BUF_TO_DEVICE 主机到设备(Runtime 中会缓存,应用调用完接口就可以释放 Host 内存)
ACL_MEMCPY_INNER_DEVICE_TO_DEVICE 同设备内部拷贝
ACL_MEMCPY_INTER_DEVICE_TO_DEVICE 跨设备拷贝

其中 ACL_MEMCPY_HOST_TO_BUF_TO_DEVICE 是一个值得注意的特殊类型:Runtime 会在内部缓存数据,应用调用完接口后即可释放 Host 侧内存,适用于主机内存紧张或希望尽早回收源缓冲的场景。对于 D2D 拷贝,INNER 与 INTER 的区分直接影响走设备内部总线还是跨设备通道,底层任务实现中亦有对应处理——memory_task.h 中定义了 ConvertD2DCpyType 与 GetD2dCrossType,用于在任务组装阶段根据源/目的地址推断并修正实际的 D2D 拷贝类型,这也解释了为什么接口层提供 ACL_MEMCPY_DEFAULT 让 Runtime 自动推断方向。

3. 架构总览

Memory 模块采用清晰的分层架构:接口层承接全部 ACL 内存 API;Runtime 框架层完成内存管理(申请/释放路径)与任务组装(异步操作路径);再经适配层调用 HAL 接口,最终由驱动(Driver)落地到硬件。整体分层如下:

graph TB
    subgraph API["接口层"]
        内存申请释放["内存申请释放"]
        内存同步操作["内存同步操作"]
        内存异步操作["内存异步操作"]
        IPC共享内存["IPC共享内存"]
        虚拟内存管理["虚拟内存管理"]
    end

    subgraph MemoryCore["Runtime 框架层"]
        内存管理["内存管理"]
        组装任务["组装任务"]
    end

    subgraph AdapterLayer["适配层"]
        HAL接口["HAL 接口"]
    end

    subgraph DriverLayer["驱动层"]
        Driver["Driver"]
    end

    内存申请释放 --> 内存管理
    内存同步操作 --> 内存管理
    IPC共享内存 --> 内存管理
    虚拟内存管理 --> 内存管理
    内存异步操作 --> 组装任务

    内存管理 --> HAL接口
    组装任务 --> HAL接口

    HAL接口 --> Driver

从该图中可以读出两条关键路径的分野:

  • 同步路径(内存申请释放、同步操作、IPC 共享、虚拟内存管理):直接经"内存管理"进入 HAL,不涉及 Stream/任务队列;
  • 异步路径(内存异步操作):先经"组装任务"将拷贝请求封装为 Runtime 任务,再进入 HAL 下发,由设备侧排队执行。

这一分工在源码中得到印证:src/runtime/core/src/memory/ 目录承载内存类型与 memset 等管理能力(如 mem_type.cc),而异步拷贝的任务定义集中在 src/runtime/core/src/task/task_info/memory/ 目录下。

4. 核心流程详细设计

4.1 内存申请流程

Device 内存申请接口为:

aclError aclrtMalloc(void **devPtr, size_t size, aclrtMemMallocPolicy policy);

参数说明:

  • devPtr:指向分配内存地址的二级指针,函数成功后 *devPtr 为分配的设备内存地址;
  • size:申请内存大小,单位为字节;
  • policy:内存分配策略,根据应用实际场景与诉求,开发者可以指定申请策略,选择普通的小页(4KB)更加节省资源,在处理海量数据时使用大页(2MB)性能更好。支持的策略说明如下:
策略 说明
ACL_MEM_MALLOC_HUGE_FIRST 优先使用大页内存,大页内存不足时使用普通页内存
ACL_MEM_MALLOC_HUGE_ONLY 仅使用大页内存,大页内存不足时返回错误
ACL_MEM_MALLOC_NORMAL_ONLY 仅使用普通页内存
ACL_MEM_MALLOC_HUGE_FIRST_P2P 优先使用大页内存(P2P场景)
ACL_MEM_MALLOC_HUGE_ONLY_P2P 仅使用大页内存(P2P场景)
ACL_MEM_MALLOC_NORMAL_ONLY_P2P 仅使用普通页内存(P2P场景)
ACL_MEM_MALLOC_HUGE1G_ONLY 仅使用1G大页内存
ACL_MEM_MALLOC_HUGE1G_ONLY_P2P 仅使用1G大页内存(P2P场景)
ACL_MEM_TYPE_LOW_BAND_WIDTH 低带宽内存类型
ACL_MEM_TYPE_HIGH_BAND_WIDTH 高带宽内存类型
ACL_MEM_ACCESS_USER_SPACE_READONLY 用户空间只读访问权限

上述策略枚举与 acl_rt.h 中的 aclrtMemMallocPolicy 定义一一对应;其中高/低带宽类型(0x0100/0x1000)与用户空间只读访问权限(0x100000)采用位段编码,与普通页/大页策略正交,说明它们描述的是内存的带宽属性与访问权限,而非页大小。

详细申请流程如下:

sequenceDiagram
    participant App as 应用程序
    participant API as API
    participant Manager as 内存管理
    participant Adapter as HAL
    participant HW as 驱动

    App->>API: aclrtMalloc
    API->>Manager: DevMalloc
    Manager->>Adapter: DevMemAlloc
    Adapter->>HW: halMemAlloc
    HW-->>App: devAddr

结合仓库源码可以还原这条调用链的落点:

  1. 接口层:ACL 接口最终映射到 C 语言内部接口 rtMalloc/rtsMalloc,实现于 api_c_memory.cc。该文件中的 rtMalloc 通过单例 Api::Instance() 调用 apiInstance->DevMalloc(devPtr, size, type, moduleId),并用 TIMESTAMP_BEGIN/END 包裹用于耗时统计;rtsMalloc(L418 附近)则携带 policy 与 advise 参数走 DevMalloc(devPtr, size, policy, advise, cfg) 重载,对应 aclrtMalloc 的策略选择;
  2. 管理/适配层:DevMalloc 经由驱动抽象层调用 DevMemAlloc。从源码结构看,runtime.cc 中存在 curDrv->DevMemAlloc(...) 的直接调用(用于二进制加载时的设备内存分配),与文档时序图中的 DevMemAlloc → halMemAlloc 链条一致——即 Runtime 通过 Driver 抽象统一收敛到 HAL 分配接口,最终由驱动返回设备地址 devAddr。

此外,接口层对异常有统一处理:DevMalloc 返回非 RT_ERROR_NONE 时,经 GetRtExtErrCodeAndSetGlobalErr 将内部错误转换并写入全局错误状态,这正是 FAQ 中"如何获取和解读 Runtime 异步错误码"所述错误码机制在内存接口上的体现。

4.2 内存拷贝流程

常用的内存拷贝分为同步拷贝和异步拷贝两类:

同步拷贝(aclrtMemcpy):

  • 调用后阻塞主机线程,直到拷贝完成才返回;
  • 适用场景:需要立即使用拷贝结果、数据量较小、简单的数据传输场景;
  • 优点:使用简单,不需要考虑流同步问题;
  • 缺点:阻塞主机,影响并发性能。

异步拷贝(aclrtMemcpyAsync):

  • 调用后立即返回,不阻塞主机线程,拷贝任务在指定 Stream 上异步执行;
  • 适用场景:数据量大、需要与其他计算任务并行、多流并发场景;
  • 优点:提高主机与设备并行度,充分利用硬件性能;
  • 缺点:需要通过 Event 或 Stream 同步确保拷贝完成后再使用数据。

异步拷贝的主要流程如下:

sequenceDiagram
    participant App as 应用程序
    participant API as API
    participant Manager as 内存管理
    participant Adapter as HAL
    participant HW as 驱动
    participant NPU as NPU

    App->>API: aclrtMemcpyAsync
    API->>Manager: 组装拷贝任务
    Manager->>Adapter: 提交拷贝任务
    Adapter->>HW: 下发拷贝任务
    HW-->>App: 返回下发结果
    HW->>NPU: 等待执行

源码侧的任务组装细节可进一步印证"组装拷贝任务"这一步的复杂度。memory_task.h 中定义了三组异步拷贝任务初始化接口:

  • MemcpyAsyncTaskInitV1:普通 1D 拷贝任务(源/目的地址 + 拷贝大小);
  • MemcpyAsyncTaskInitV2:2D 拷贝任务,额外携带 dstPitch、srcPitch、width、height 参数,对应 aclrtMemcpy2dAsync 的行拷贝语义;
  • MemcpyAsyncTaskInitV3:携带 rtTaskCfgInfo_t 与 rtD2DAddrCfgInfo_t 配置的拷贝任务,服务于带配置的 D2D 等复杂路径。

配套还有 MemcpyAsyncBatchTaskInit(批量拷贝任务初始化)、ConvertAsyncDma/ConvertAsyncDma2D/ConvertAsyncDmaBatch(将任务信息转换为 DMA 下发体)、GetSqeNumForMemcopyAsync(按拷贝类型计算所需 SQE 队列项数量)以及 ConvertD2DCpyType/GetD2dCrossType(推断同设备/跨设备拷贝类型)等辅助函数。任务实现按硬件代际拆分在 memory_task.cc 及 memory_task_v100.cc、memory_task_v200.cc、memory_task_v201.cc、memory_task_arch5162.cc 等文件(位于 src/runtime/core/src/task/task_info/memory/ 目录),从文件命名可以推断 Runtime 对不同 SoC 版本的异步拷贝路径做了差异化实现。此外头文件中还定义了 MemWriteValueTaskInit/MemWaitValueTaskInit 等内存值写入与等待任务,属于内存语义同步(stream 内基于地址值等待)的基础设施,超出本篇主题,此处仅提及。

一个实现细节值得注意:rtsMemcpy2D 在 api_c_memory.cc 中对 width == 0 || height == 0 的情况直接返回成功并记录 INFO 日志,说明零尺寸拷贝被视为合法的空操作而非错误,这为上层框架在动态 shape 场景下无脑下发拷贝提供了安全边界。

4.3 批量内存拷贝流程

批量内存拷贝允许一次性提交多个内存拷贝任务,减少任务提交开销,提高整体拷贝效率。支持同步批量拷贝(aclrtMemcpyBatch)和异步批量拷贝(aclrtMemcpyBatchAsync),适用于需要同时传输多个数据块的场景(如张量切分后的多块传输)。

接口签名:

aclError aclrtMemcpyBatch(void **dsts, size_t *destMaxs, void **srcs,
                          size_t *sizes, size_t numBatches,
                          aclrtMemcpyBatchAttr *attrs, size_t *failIdx);

aclError aclrtMemcpyBatchAsync(void **dsts, size_t *destMaxs, void **srcs,
                               size_t *sizes, size_t numBatches,
                               aclrtMemcpyBatchAttr *attrs, size_t *failIdx,
                               aclrtStream stream);

参数说明:

参数 类型 说明
dsts IN void** 目标地址数组
destMaxs IN size_t* 目标地址最大容量数组
srcs IN void** 源地址数组
sizes IN size_t* 拷贝大小数组
numBatches IN size_t 批量拷贝任务数量
attrs IN aclrtMemcpyBatchAttr* 拷贝属性数组(可指定每个任务的拷贝方向)
failIdx OUT size_t* 失败任务索引(同步拷贝时返回)
stream IN aclrtStream 异步拷贝使用的流

从源码结构看,批量路径同样以任务形式落地:memory_task.h 中的 MemcpyAsyncBatchTaskInit(TaskInfo*, AsyncDmaBatchInfo&) 将批量信息封装为单个异步 DMA 批量任务,ConvertAsyncDmaBatch 负责其下发体转换,这与"减少任务提交开销"的设计目标一致——一次提交、设备侧批量执行。接口层还有防御性检查:api_c_memory.cc 中的 IsAllZeroSizeBatch 会判断整批大小是否全为零,配合 2D 拷贝的零尺寸快速返回,共同构成批量接口对空拷贝的容错处理。

4.4 物理内存管理流程

物理内存管理允许用户直接控制物理内存的分配和映射,提供更精细的内存管理能力,主要用于需要跨进程共享内存、大内存池管理或需要特定内存属性的进阶场景。通过物理内存管理接口,用户可以:

  • 独立分配物理内存并获取 handle(aclrtMallocPhysical);
  • 预留虚拟地址空间(aclrtReserveMemAddress);
  • 将物理内存映射到虚拟地址空间(aclrtMapMem);
  • 使用完成后解除映射并释放资源(aclrtUnmapMem、aclrtReleaseMemAddress、aclrtFreePhysical)。

各接口在流程中的位置如下:

flowchart TD
    A[aclrtMallocPhysical] --> B[Driver 分配物理内存]
    B --> C[返回 handle]

    D[aclrtReserveMemAddress] --> E[预留虚拟地址空间]
    E --> F[返回 virPtr]

    G[aclrtMapMem] --> H[关联 handle 和 virPtr]
    H --> I[建立映射关系]
    I --> J[可访问物理内存]

    K[aclrtUnmapMem] --> L[解除映射]
    L --> M[释放虚拟地址]

    N[aclrtReleaseMemAddress] --> O[释放虚拟地址空间]

    P[aclrtFreePhysical] --> Q[释放物理内存]

这套"分配物理内存 → 预留虚拟地址 → 映射 → 解映射 → 释放"的三步式模型,把物理资源的生命周期与虚拟地址的生命周期解耦:aclrtReserveMemAddress/aclrtReleaseMemAddress 管理虚拟地址空间,aclrtMallocPhysical/aclrtFreePhysical 管理物理内存本身,aclrtMapMem/aclrtUnmapMem 负责两者之间的关联与解除。接口声明同样可在 acl_rt.h 的注释中看到相互 @see 引用,印证了这一组合调用关系。aclrtMallocPhysical 在接口层对应内部接口 rtsMemMallocPhysical(见 api_c_memory.cc 的耗时统计声明),最终仍收敛到驱动完成物理内存分配。

4.5 IPC 内存共享

IPC(Inter-Process Communication)内存共享允许不同进程之间共享同一块设备内存,实现高效的跨进程数据传递。通过 IPC 机制,进程 A 可以将已分配的设备内存导出为共享 key,进程 B 通过该 key 导入并访问同一块物理内存,避免了数据拷贝开销。

核心接口:

核心接口 说明
aclrtIpcMemGetExportKey 导出设备内存为 IPC key,供其他进程导入
aclrtIpcMemImportByKey 通过 key 导入共享内存到当前进程
aclrtIpcMemClose 关闭 IPC 共享内存(导出方调用)
aclrtIpcMemSetImportPid 设置允许导入的进程 PID 白名单

完整的导出—导入—释放时序如下:

sequenceDiagram
    participant ProcA as 进程 A(导出方)
    participant API_A as API(进程 A)
    participant Driver as Driver/内核
    participant API_B as API(进程 B)
    participant ProcB as 进程 B(导入方)

    ProcA->>API_A: aclrtMalloc(分配设备内存)
    API_A-->>ProcA: devPtr

    ProcA->>API_A: aclrtIpcMemGetExportKey(devPtr, size)
    API_A->>Driver: 创建 IPC 共享句柄
    Driver-->>API_A: 返回 key
    API_A-->>ProcA: key(64字节字符串)

    Note over ProcA,ProcB: 进程 A 通过 IPC 机制传递 key 给进程 B

    ProcB->>API_B: aclrtIpcMemImportByKey(key)
    API_B->>Driver: 导入共享内存
    Driver->>Driver: 映射到进程 B 地址空间
    Driver-->>API_B: sharedPtr
    API_B-->>ProcB: sharedPtr(可访问同一块物理内存)

    Note over ProcA,ProcB: 进程 A 和进程 B 共享同一块物理内存

    ProcB->>ProcB: 使用 sharedPtr 访问数据
    ProcA->>ProcA: 使用 devPtr 访问数据

    ProcB->>API_B: aclrtFree(sharedPtr)
    ProcA->>API_A: aclrtIpcMemClose(key)
    ProcA->>API_A: aclrtFree(devPtr)

从 acl_rt.h 的接口注释可以看到几个关键约定,对正确使用该机制非常重要:

  • key 传递是应用层职责:Runtime 只负责把设备内存编码为 key(导出方)和把 key 解码为可访问指针(导入方),key 本身如何从进程 A 传到进程 B(socket、共享文件、命令行等)由应用自行决定;
  • 导入侧可选 P2P 直访:aclrtIpcMemImportByKey 的 flags 支持 ACL_RT_IPC_MEM_IMPORT_FLAG_ENABLE_PEER_ACCESS,启用后允许直接访问对端设备上的内存分配,适用于多卡场景下跨 Device 的进程间访问;
  • PID 白名单是安全边界:aclrtIpcMemSetImportPid(key, pid, num) 允许导出方限定哪些进程可以导入该 key,aclrtIpcMemGetExportKey 的 flags 中也提供 ACL_RT_IPC_MEM_EXPORT_FLAG_DISABLE_PID_VALIDATION 用于关闭 PID 校验。仓库示例 example/1_basic_features/memory/10_ipc_memory_withpid(带 PID 校验)与 11_ipc_memory_withoutpid(不带 PID 校验)正好对应这两种模式;
  • 资源释放顺序:导入方用完 aclrtFree 释放自己的映射;导出方先 aclrtIpcMemClose 关闭共享,再 aclrtFree 释放原始设备内存。

另外,进程间 IPC 内存共享对页表对齐有明确要求,可参阅 FAQ 文档 进程间IPC内存共享的页表对齐要求 获取详细约束。

5. 关键文件索引

Memory 模块在仓库中的关键文件及核心内容如下:

功能模块 文件路径 核心内容
ACL 内存接口 acl_rt.h aclrtMalloc、aclrtMemcpy、aclrtIpcMem* 等对外接口与策略枚举定义
Runtime 接口层实现 api_c_memory.cc rtMalloc/rtsMalloc/rtsMemcpy2D 等 C 内部接口实现,串联 Api::Instance() 的 DevMalloc、HostMalloc、MemCopy2DSync 等管理路径
内存任务 memory_task.cc 异步拷贝、批量拷贝任务实现(按硬件代际另有 memory_task_v100.cc、memory_task_v200.cc 等文件)
内存任务头文件 memory_task.h MemcpyAsyncTaskInitV1/V2/V3、MemcpyAsyncBatchTaskInit、ConvertD2DCpyType 等内存任务接口定义
内存管理能力 mem_type.cc 内存类型相关实现(位于 src/runtime/core/src/memory/)

6. 延伸阅读

登录后查看全文
runtime