CANN Runtime EZ2001 Execution_Error 错误码解析:AI Core 错误与 RAS 故障联动上报机制
CANN Runtime EZ2001 Execution_Error 错误码解析:AI Core 错误与 RAS 故障联动上报机制
EZ2001 是 CANN Runtime 中一类面向"设备侧 AI Core 异常执行 + 系统 RAS 故障命中"场景的执行类错误码(Execution_Error)。本文结合开源仓库 EZ2001 错误码文档 与 Runtime 错误处理源码,讲清它的日志格式、各占位符含义、触发条件与排查方法,帮助你在 Ascend 设备上出现 AI Core 报错时快速定位故障类型并决定后续处理路径。
一、错误信息格式与占位符含义
根据 错误码定义,EZ2001 的报错格式为:
%s
Fault %s occurs in the system: %s
三个 %s 占位符按顺序依次表示:环境变量值(aicore_error_info)、环境变量名(fault_type)、期望值(fault_info)。
仓库中的错误码元数据与文档描述一致。在 错误码模板头文件 中可以确认其注册信息:
/* EZ2001 - Execution_Error (RAS Fault) */
X(EZ2001, "EZ2001", ("aicore_error_info", "fault_type", "fault_info"),
"%s\nFault %s occurs in the system: %s ErrorCode=EZ2001.\n", DLOG_ERROR)
从这段元数据可以看出三个关键实现事实:
- 日志级别为 DLOG_ERROR:EZ2001 属于 ERROR 级错误码,默认在 Runtime 错误日志(plog)中可见;
- 三个参数的语义固定:第一个是 AI Core 的完整错误转储信息(
aicore_error_info),第二个是故障类别(fault_type),第三个是具体的故障描述(fault_info); - 新版模板会在行尾追加
ErrorCode=EZ2001.标记,便于在日志中直接 grep 定位错误码;错误码 JSON 配置 中也保留了基础格式"%s\nFault %s occurs in the system: %s"。
报错示例
文档中给出的真实报错示例如下:
An error occurs on the device(chipId:0, dieId:0), the serial number is 3, the error is aivec error, core id is 0, error code = 95, dump info: pc start: 0x120041000068, current: 0x120041000118, sc error info: 0xffffffffffff, su error info: 0xeadbe7fe29c20002, 0x80400000f800f7da, mte error info: 0x263000000040041, vec error info: 0xbf7f93fe007efefa, cube error info: 0, l1 error info: 0, aic error mask: 0x395856, para base: 0x120000200000, mte error: 0x80000000, aic cond: 0.
The extend info: errcode:(95) errorStr: The DDR address of the MTE instruction is out of range. subErrType: 0x4.
Fault RAS occurs in the system: [event_id:0x80e18400] New uncorrectable ECC / other uncorrectable memory error. For details about troubleshooting, see Health Management Error Definition.
示例中三个占位符分别对应:
- 第 1 段(
An error occurs on the device...与The extend info: ...):AI Core 错误转储,包含芯片/Die 信息、出错的核 ID、错误码以及各模块(SC/SU/MTE/VEC/CUBE/L1)的错误寄存器值; - 第 2 段的
RAS:故障类别名,表示该 AI Core 错误同时命中了设备侧 RAS(可靠性、可用性、可服务性)故障事件; - 第 3 段(
[event_id:0x80e18400] New uncorrectable ECC / other uncorrectable memory error...):RAS 事件的 ID 与名称,示例中指向"新的不可纠正 ECC / 其他不可纠正内存错误",这类内存级故障需要按健康管理的错误定义文档进一步处理。
二、触发条件:AI Core 错误与 RAS 故障的双重要求
从源码结构看,EZ2001 不是所有 AI Core 报错的统一错误码,而是"AI Core 出错 且 在设备时间窗口内查询到 RAS 故障事件"这一特定组合场景下的上报路径。以 错误处理核心实现 中的 PrintCoreInfo 函数为例:
if (!rasFaultDesc.empty()) {
RT_LOG_OUTER_MSG_IMPL(ErrorCode::EZ2001, aicoreBuffer.data(), "RAS", rasFaultDesc);
return;
}
RT_LOG_CALL_MSG(
ERR_MODULE_TBE,
"%s\nFor details, see the troubleshooting document on the Ascend official website. Search for the "
"keyword \"AI Core Error\".",
aicoreBuffer.data());
其逻辑非常清晰:
- 命中 RAS 事件(
rasFaultDesc非空):走ErrorCode::EZ2001结构化上报,三个参数依次为 AI Core 转储缓冲aicoreBuffer、字面量"RAS"与 RAS 故障描述; - 未命中 RAS 事件:仅打印普通 TBE 错误日志,并提示用户按 "AI Core Error" 关键词查阅官方排障文档,不产生 EZ2001 错误码。
RAS 事件的查询窗口
RAS 事件的匹配由 QueryAndFormatRasFault 函数 完成,其查询策略体现了对"事件等待"的精细处理:
// SetTaskMteErr(errTaskPtr, dev) 中已经等待过事件发生了,这个函数调用结束,只有两种情况:
// 1、等足了120ms,没有查到事件,此处不应该再去轮询查事件了,而是直接只查一次,以这次的查询结果为准
// 2、没有等够120ms事件就发生了,函数提前返回,此处立即去查询告警,一定能查到
// 所以,无论那种情况,此处都不应该再去轮询查事件了,QueryRasFaultEvents的windowAfterMs直接传0
RasEventMatch rasMatch = QueryRasFaultEvents(dev, deviceTimeMs, 0U);
即:在上游处理 MTE 错误时,Runtime 已经按设备时间最多等待过一段时间以捕获 RAS 事件;到查询阶段只以设备当前时间为基准做一次"零后窗"匹配(windowAfterMs = 0),避免二次轮询引入误匹配。命中后调用 FormatRasFaultDesc(eventId, eventName) 生成形如 [event_id:0x80e18400] New uncorrectable ECC / other uncorrectable memory error... 的故障描述文本。
对于 David(v200 架构)平台,独立的处理路径 中 QueryAndFormatRasFaultDavid 还按错误类别细化了策略:仅 AIX_MTE_POISON_ERROR、AIX_HW_L_ERROR、AIX_LINK_ERROR 三类错误会尝试上报用户可见错误码;其中 AIX_HW_L_ERROR 分支需要额外轮询 500ms 等待事件发生,其余分支则与 V100 路径一致直接查一次。命中 RAS 时同样通过 RT_LOG_OUTER_MSG_IMPL(ErrorCode::EZ2001, aicoreBuffer.data(), "RAS", rasFaultDesc) 上报,与 V100 路径保持同一错误码语义。
三、读懂 AI Core 转储信息(第 1 个占位符)
第一个占位符内容是由 PrintCoreInfo 中固定模板(4096 字节缓冲,aicoreBuffer)格式化产生的,源码注释特别标明该格式"为 aic 工具约定,未经约定不得修改"。各字段含义如下:
| 字段 | 含义 |
|---|---|
chipId / dieId |
出错芯片与 Die 编号,用于多芯/多 Die 场景定位故障物理位置 |
serial number |
出错的设备错误事件序号,可用于关联同一次故障的日志 |
the error is xxx |
错误大类,如示例中的 aivec error(AI Vector 核错误) |
core id |
出错的具体核编号 |
error code |
AI Core 错误码,示例中为 95 |
pc start / current |
出错任务的起始 PC 与出错时的当前 PC,是定位到具体算子/指令段的关键线索 |
sc / su / mte / vec / cube / l1 error info |
各硬件模块(SC、SU、MTE 内存传输、VEC 向量、CUBE 矩阵、L1 缓存)的错误寄存器值,非 0 表示对应模块存在异常位 |
aic error mask / para base / mte error / aic cond |
AI Core 错误掩码、参数基址、MTE 错误位与 AI Core 条件寄存器 |
The extend info: errcode:(95) errorStr: ... subErrType: 0x4 |
扩展信息:错误码、错误码对应的文字描述(示例为 "The DDR address of the MTE instruction is out of range",即 MTE 指令的 DDR 地址越界)与子错误类型 |
排查时的实用读法是:先看 errorStr 文字描述确定错误性质,再用 pc start/current 结合 stream/task 信息回推是哪个算子或 kernel,最后看各模块 error info 定位故障硬件模块。若多个 error info 均为 0 而 mte 相关字段非 0,通常指向内存访问类问题(如地址越界、ECC 错误),这也正是它与 RAS 内存类事件联动最典型的场景。
四、解决方法
原文档给出的解决方法为"根据报错信息排查问题"。结合上述源码机制,可将其展开为以下可操作的排查步骤:
- 确认是否为 RAS 联动故障:检查日志中
Fault RAS occurs in the system:一行的 event_id 与事件名。若命中 ECC/内存类事件(如示例的 "New uncorrectable ECC / other uncorrectable memory error"),说明故障根因在内存子系统,应按健康管理(Health Management)的错误定义处理,通常意味着需要上报硬件维修/复位,而非单纯修复业务代码; - 解析 AI Core 转储定位软件侧问题:依据
chipId/dieId/core id锁定物理位置,依据error code与errorStr判断错误性质(如 MTE 地址越界、指令非法等);若错误由算子内存访问越界导致,则应回到业务侧检查 tensor 布局、tiling 与内存申请是否匹配; - 用 PC 地址回推算子:
pc start/current可辅助将故障映射到具体加载的 kernel/算子,配合任务序列号(serial number)与日志中的 stream/task 信息缩小范围; - 区分 EZ2001 与纯 AI Core 错误:若日志中没有
Fault ... occurs in the system行而只有 AI Core 转储与 "AI Core Error" 提示语,则属于未命中 RAS 事件的普通 AI Core 错误(不产生 EZ2001 错误码),应直接按 AI Core 错误文档排查业务/算子问题; - 保留原始日志:
aicoreBuffer格式是为 aic 类工具解析而约定的结构,请勿手工改写日志后再分析;可结合 Runtime 错误码体系(见 错误码总览)检索ErrorCode=EZ2001关键字快速聚合同类故障。
仓库中的 错误码单元测试 覆盖包括 EZ2001 在内的错误码格式与上报路径,可作为该行为稳定性的回归验证依据。
五、参考文件
| 文件 | 说明 |
|---|---|
| EZ2001 错误码文档 | 报错格式、占位符定义与报错示例 |
| error_code.json | EZ2001 错误码与消息模板的 JSON 定义 |
| error_code_meta.h | 错误码元数据:参数名、日志级别与模板 |
| device_error_core_proc.cc | V100 路径:RAS 事件查询与 EZ2001 上报 |
| device_error_proc_c.cc | David(v200) 路径:按错误类别查询 RAS 并上报 EZ2001 |
| rt_error_code_test.cc | 错误码格式与上报路径的单元测试 |