CANN Runtime EZ2001 Execution_Error 错误码解析:AI Core 错误与 RAS 故障联动上报机制

原创2026-09-17 10:00:171,987 阅读
文章标签:人工智能Ascend任务调度性能剖析

CANN Runtime EZ2001 Execution_Error 错误码解析:AI Core 错误与 RAS 故障联动上报机制

EZ2001 是 CANN Runtime 中一类面向"设备侧 AI Core 异常执行 + 系统 RAS 故障命中"场景的执行类错误码(Execution_Error)。本文结合开源仓库 EZ2001 错误码文档 与 Runtime 错误处理源码,讲清它的日志格式、各占位符含义、触发条件与排查方法,帮助你在 Ascend 设备上出现 AI Core 报错时快速定位故障类型并决定后续处理路径。

一、错误信息格式与占位符含义

根据 错误码定义,EZ2001 的报错格式为:

%s
Fault %s occurs in the system: %s

三个 %s 占位符按顺序依次表示:环境变量值(aicore_error_info)、环境变量名(fault_type)、期望值(fault_info)。

仓库中的错误码元数据与文档描述一致。在 错误码模板头文件 中可以确认其注册信息:

/* EZ2001 - Execution_Error (RAS Fault) */
X(EZ2001, "EZ2001", ("aicore_error_info", "fault_type", "fault_info"),
  "%s\nFault %s occurs in the system: %s ErrorCode=EZ2001.\n", DLOG_ERROR)

从这段元数据可以看出三个关键实现事实:

  1. 日志级别为 DLOG_ERROR:EZ2001 属于 ERROR 级错误码,默认在 Runtime 错误日志(plog)中可见;
  2. 三个参数的语义固定:第一个是 AI Core 的完整错误转储信息(aicore_error_info),第二个是故障类别(fault_type),第三个是具体的故障描述(fault_info);
  3. 新版模板会在行尾追加 ErrorCode=EZ2001. 标记,便于在日志中直接 grep 定位错误码;错误码 JSON 配置 中也保留了基础格式 "%s\nFault %s occurs in the system: %s"。

报错示例

文档中给出的真实报错示例如下:

An error occurs on the device(chipId:0, dieId:0), the serial number is 3, the error is aivec error, core id is 0, error code = 95, dump info: pc start: 0x120041000068, current: 0x120041000118, sc error info: 0xffffffffffff, su error info: 0xeadbe7fe29c20002, 0x80400000f800f7da, mte error info: 0x263000000040041, vec error info: 0xbf7f93fe007efefa, cube error info: 0, l1 error info: 0, aic error mask: 0x395856, para base: 0x120000200000, mte error: 0x80000000, aic cond: 0.
The extend info: errcode:(95) errorStr: The DDR address of the MTE instruction is out of range. subErrType: 0x4.
Fault RAS occurs in the system: [event_id:0x80e18400] New uncorrectable ECC / other uncorrectable memory error. For details about troubleshooting, see Health Management Error Definition.

示例中三个占位符分别对应:

  • 第 1 段(An error occurs on the device... 与 The extend info: ...):AI Core 错误转储,包含芯片/Die 信息、出错的核 ID、错误码以及各模块(SC/SU/MTE/VEC/CUBE/L1)的错误寄存器值;
  • 第 2 段的 RAS:故障类别名,表示该 AI Core 错误同时命中了设备侧 RAS(可靠性、可用性、可服务性)故障事件;
  • 第 3 段([event_id:0x80e18400] New uncorrectable ECC / other uncorrectable memory error...):RAS 事件的 ID 与名称,示例中指向"新的不可纠正 ECC / 其他不可纠正内存错误",这类内存级故障需要按健康管理的错误定义文档进一步处理。

二、触发条件:AI Core 错误与 RAS 故障的双重要求

从源码结构看,EZ2001 不是所有 AI Core 报错的统一错误码,而是"AI Core 出错 且 在设备时间窗口内查询到 RAS 故障事件"这一特定组合场景下的上报路径。以 错误处理核心实现 中的 PrintCoreInfo 函数为例:

if (!rasFaultDesc.empty()) {
    RT_LOG_OUTER_MSG_IMPL(ErrorCode::EZ2001, aicoreBuffer.data(), "RAS", rasFaultDesc);
    return;
}
RT_LOG_CALL_MSG(
    ERR_MODULE_TBE,
    "%s\nFor details, see the troubleshooting document on the Ascend official website. Search for the "
    "keyword \"AI Core Error\".",
    aicoreBuffer.data());

其逻辑非常清晰:

  • 命中 RAS 事件(rasFaultDesc 非空):走 ErrorCode::EZ2001 结构化上报,三个参数依次为 AI Core 转储缓冲 aicoreBuffer、字面量 "RAS" 与 RAS 故障描述;
  • 未命中 RAS 事件:仅打印普通 TBE 错误日志,并提示用户按 "AI Core Error" 关键词查阅官方排障文档,不产生 EZ2001 错误码。

RAS 事件的查询窗口

RAS 事件的匹配由 QueryAndFormatRasFault 函数 完成,其查询策略体现了对"事件等待"的精细处理:

// SetTaskMteErr(errTaskPtr, dev) 中已经等待过事件发生了,这个函数调用结束,只有两种情况:
// 1、等足了120ms,没有查到事件,此处不应该再去轮询查事件了,而是直接只查一次,以这次的查询结果为准
// 2、没有等够120ms事件就发生了,函数提前返回,此处立即去查询告警,一定能查到
// 所以,无论那种情况,此处都不应该再去轮询查事件了,QueryRasFaultEvents的windowAfterMs直接传0
RasEventMatch rasMatch = QueryRasFaultEvents(dev, deviceTimeMs, 0U);

即:在上游处理 MTE 错误时,Runtime 已经按设备时间最多等待过一段时间以捕获 RAS 事件;到查询阶段只以设备当前时间为基准做一次"零后窗"匹配(windowAfterMs = 0),避免二次轮询引入误匹配。命中后调用 FormatRasFaultDesc(eventId, eventName) 生成形如 [event_id:0x80e18400] New uncorrectable ECC / other uncorrectable memory error... 的故障描述文本。

对于 David(v200 架构)平台,独立的处理路径 中 QueryAndFormatRasFaultDavid 还按错误类别细化了策略:仅 AIX_MTE_POISON_ERROR、AIX_HW_L_ERROR、AIX_LINK_ERROR 三类错误会尝试上报用户可见错误码;其中 AIX_HW_L_ERROR 分支需要额外轮询 500ms 等待事件发生,其余分支则与 V100 路径一致直接查一次。命中 RAS 时同样通过 RT_LOG_OUTER_MSG_IMPL(ErrorCode::EZ2001, aicoreBuffer.data(), "RAS", rasFaultDesc) 上报,与 V100 路径保持同一错误码语义。

三、读懂 AI Core 转储信息(第 1 个占位符)

第一个占位符内容是由 PrintCoreInfo 中固定模板(4096 字节缓冲,aicoreBuffer)格式化产生的,源码注释特别标明该格式"为 aic 工具约定,未经约定不得修改"。各字段含义如下:

字段 含义
chipId / dieId 出错芯片与 Die 编号,用于多芯/多 Die 场景定位故障物理位置
serial number 出错的设备错误事件序号,可用于关联同一次故障的日志
the error is xxx 错误大类,如示例中的 aivec error(AI Vector 核错误)
core id 出错的具体核编号
error code AI Core 错误码,示例中为 95
pc start / current 出错任务的起始 PC 与出错时的当前 PC,是定位到具体算子/指令段的关键线索
sc / su / mte / vec / cube / l1 error info 各硬件模块(SC、SU、MTE 内存传输、VEC 向量、CUBE 矩阵、L1 缓存)的错误寄存器值,非 0 表示对应模块存在异常位
aic error mask / para base / mte error / aic cond AI Core 错误掩码、参数基址、MTE 错误位与 AI Core 条件寄存器
The extend info: errcode:(95) errorStr: ... subErrType: 0x4 扩展信息:错误码、错误码对应的文字描述(示例为 "The DDR address of the MTE instruction is out of range",即 MTE 指令的 DDR 地址越界)与子错误类型

排查时的实用读法是:先看 errorStr 文字描述确定错误性质,再用 pc start/current 结合 stream/task 信息回推是哪个算子或 kernel,最后看各模块 error info 定位故障硬件模块。若多个 error info 均为 0 而 mte 相关字段非 0,通常指向内存访问类问题(如地址越界、ECC 错误),这也正是它与 RAS 内存类事件联动最典型的场景。

四、解决方法

原文档给出的解决方法为"根据报错信息排查问题"。结合上述源码机制,可将其展开为以下可操作的排查步骤:

  1. 确认是否为 RAS 联动故障:检查日志中 Fault RAS occurs in the system: 一行的 event_id 与事件名。若命中 ECC/内存类事件(如示例的 "New uncorrectable ECC / other uncorrectable memory error"),说明故障根因在内存子系统,应按健康管理(Health Management)的错误定义处理,通常意味着需要上报硬件维修/复位,而非单纯修复业务代码;
  2. 解析 AI Core 转储定位软件侧问题:依据 chipId/dieId/core id 锁定物理位置,依据 error code 与 errorStr 判断错误性质(如 MTE 地址越界、指令非法等);若错误由算子内存访问越界导致,则应回到业务侧检查 tensor 布局、tiling 与内存申请是否匹配;
  3. 用 PC 地址回推算子:pc start/current 可辅助将故障映射到具体加载的 kernel/算子,配合任务序列号(serial number)与日志中的 stream/task 信息缩小范围;
  4. 区分 EZ2001 与纯 AI Core 错误:若日志中没有 Fault ... occurs in the system 行而只有 AI Core 转储与 "AI Core Error" 提示语,则属于未命中 RAS 事件的普通 AI Core 错误(不产生 EZ2001 错误码),应直接按 AI Core 错误文档排查业务/算子问题;
  5. 保留原始日志:aicoreBuffer 格式是为 aic 类工具解析而约定的结构,请勿手工改写日志后再分析;可结合 Runtime 错误码体系(见 错误码总览)检索 ErrorCode=EZ2001 关键字快速聚合同类故障。

仓库中的 错误码单元测试 覆盖包括 EZ2001 在内的错误码格式与上报路径,可作为该行为稳定性的回归验证依据。

五、参考文件

文件 说明
EZ2001 错误码文档 报错格式、占位符定义与报错示例
error_code.json EZ2001 错误码与消息模板的 JSON 定义
error_code_meta.h 错误码元数据:参数名、日志级别与模板
device_error_core_proc.cc V100 路径:RAS 事件查询与 EZ2001 上报
device_error_proc_c.cc David(v200) 路径:按错误类别查询 RAS 并上报 EZ2001
rt_error_code_test.cc 错误码格式与上报路径的单元测试
登录后查看全文
runtime