从源码读懂 ASTRA-sim:Chakra ET 执行引擎与仿真循环深度剖析

原创2026-11-01 21:02:531,818 阅读

从源码读懂 ASTRA-sim:Chakra ET 执行引擎与仿真循环深度剖析

ASTRA-sim 2.0 是一个面向大规模分布式 AI 训练系统的多保真度模拟器,它把真实训练框架的执行追踪(Execution Trace)翻译成可复现的仿真事件。本文从源码视角带你读懂它的两大核心:基于 Chakra ET 的执行引擎(Workload)和事件驱动的仿真循环(Sys + 事件队列),帮助新手快速建立从"一行 main()"到"百万事件调度"的完整心智模型。

ASTRA-sim 分层架构总览:Workload、System 层通过 Network/Memory/Compute API 连接网络、内存与计算模拟器

如上图所示,ASTRA-sim 采用清晰的分层 + 插件化设计:上层 Workload 与 System 层由 ASTRA-sim 本体负责,下层网络、内存、计算模型通过 Network API / Memory API / Compute API 三组接口插拔。理解这套结构后,再看事件驱动循环就水到渠成了。

一次仿真的起点:main() 主流程拆解

所有分析型(analytical)网络前端都从一份极简洁的 main() 启动,见 main.cc:

  1. 解析命令行参数:workload、system、network、remote-memory 四类配置文件(--workload-configuration 等);
  2. 创建全局事件队列:std::make_shared<EventQueue>() 并注入拓扑(main.cc#L50-L56);
  3. 为每个 NPU 实例化一对对象:CongestionAwareNetworkApi(网络前端)+ Sys(系统层实体),循环 npus_count 次完成"复制拓扑"(main.cc#L79-L91);
  4. 点火 + 死循环推进时间,整个仿真循环只有 3 行:
while (!event_queue->finished()) {
    event_queue->proceed();
}

💡 新手注意:while 循环之外没有任何"时间步长"或"for 循环"——时间完全由事件驱动,这是 ASTRA-sim 与离散事件仿真框架(如 ns-3)一脉相承的设计。

Chakra ET 执行引擎:把训练负载变成事件

ASTRA-sim 2.0 的负载输入是 MLCommons Chakra 执行追踪(ET)文件。每个 NPU 对应一个 <workload>.<npu_id>.et,由 Workload 构造函数中的 ETFeeder 加载:

string workload_filename = et_filename + "." + to_string(sys->id) + ".et";
this->et_feeder = new ETFeeder(workload_filename);

ET 文件是怎么来的?

仓库自带的回归测试模板 gen_chakra_traces.py 是最好的"最小样例":用 protobuf 编码写 8 个 .et 文件,每个 NPU 里只有一个 COMM_COLL_NODE 节点,属性包括 is_cpu_op、comm_type=ALL_REDUCE、comm_size=1MB。真实场景中,ET 由 MLCommons Chakra 工具从 PyTorch 等框架采集而来。

节点分发:一个 node 如何变成一次仿真

Workload::issue() 是执行引擎的分发表,按 ET 节点类型路由:

ET 节点类型 处理方式 说明
MEM_LOAD / MEM_STORE issue_remote_mem() 走 Remote Memory API,模拟远端内存读写
COMP_NODE issue_comp() 或 issue_replay() Roofline 模式按算术强度算性能;replay 模式直接回放追踪里的真实耗时(µs→ns)
COMM_COLL_NODE issue_coll_comm() 生成 DataSet,触发 AllReduce / AllGather / AllToAll / ReduceScatter / Broadcast
COMM_SEND / RECV issue_send_comm() / issue_recv_comm() 点对点消息,经 front_end_sim_send/recv 注入网络
METADATA_NODE issue_metadata() 解析 PyTorch process group 元信息

其中 Roofline 计算是亮点:operational_intensity = num_ops / tensor_size,再查 Roofline 模型得到该节点的执行时间——用公式替代回放,这正是"多保真度仿真的保真度旋钮"之一。

依赖解析器:仿真循环的心脏 🔥

ET 本质上是一张带依赖关系的有向图(例如:MatMul → AllReduce → MatMul)。ETFeeder 内置的 DependancyResolver 负责回答一个问题:现在哪些节点可以执行了?

整个循环只有三步,闭环在 Workload::call() 中:

  1. 取就绪节点:issue_dep_free_nodes() 从依赖解析器取出所有"依赖已满足"的节点,逐个 issue();
  2. 完成即推进:每个节点执行完毕(如集合通信结束)时,call() 收到 CollectiveCommunicationFinished 事件,调用 finish_node(node_id) 标记完成;
  3. 释放下游:紧接着再次 issue_dep_free_nodes()——被依赖的下游节点此刻"解锁",级联式地把整张 ET 图推完。

终止判定同样简洁:当依赖就绪集为空、无进行中节点、CPU/GPU 在途操作为 0 时,Workload 输出统计并调用 sim_notify_finished() 通知网络层。

仿真循环:EventQueue 如何驱动时间前进

事件注册:双层事件队列

系统层并不直接操纵全局时间,而是维护一个本地事件缓存 event_queue(按 tick 索引的 map)。Sys::try_register_event() 的逻辑非常巧妙:

  • 把 (callable, event, data) 追加到 event_queue[当前tick + delta];
  • 只有当某个未来 tick 首次被占用时,才调用 comm_NI->sim_schedule() 向网络后端"预约"一次 CallEvents 唤醒。

这样,同一 tick 上的 N 个事件只需一次调度开销。全局时间由 Sys::boostedTick() 从网络后端读取(1ns 精度),时间唯一权威在网络模拟器手里——计算、内存、通信事件全都挂在同一条时间轴上。

事件派发:handleEvent 是中央调度台

当网络队列推进到预约时刻,会回调 Sys::handleEvent(),它按 EventType 分发:

事件 去向
CallEvents call_events():批量执行当前 tick 缓存的所有回调
CompFinished / MemLoadFinished / MemStoreFinished 转交 workload->call(),触发依赖解析推进
PacketReceived / PacketSent 转交 workload->call(),并可唤醒 rendezvous 与自定义集合通信算法
RendezvousSend / Recv 直接唤醒对应的 send/recv 可调用对象

📌 一句话总结仿真循环:ET 依赖图解锁节点 → 节点注册定时事件 → 网络队列推进时间 → handleEvent 回调 → 节点标记完成 → 解锁下游节点,周而复始直到所有 ET 节点执行完毕、事件队列 finished()。

跑通一个最小仿真:回归测试模板

仓库的 tests/rt_template/ 提供了可一键运行的完整闭环,run.sh 依次执行:

  1. gen.sh 调用 gen_chakra_traces.py 生成 8 个 NPU 的 .et 文件;
  2. 用四类配置文件启动分析型二进制(网络 network_cfg.yml、系统 system_cfg.json、远端内存 remote_memory_cfg.json);
  3. 清洗日志后与 refs/stdout.txt 做 diff 校验。

想亲手改一改?把 gen_chakra_traces.py 里的 comm_size 从 1MB 改成 8MB,就能直观观察仿真时间如何变化——这是理解"通信-计算重叠"最快的实验。

关键源码地图 🗺️

模块 路径 职责
仿真入口 astra-sim/network_frontend/analytical/congestion_aware/main.cc 参数解析、拓扑构建、仿真主循环
Chakra ET 执行引擎 astra-sim/workload/Workload.cc 节点分发、依赖解析、事件回调、统计上报
事件队列核心 astra-sim/system/Sys.cc 事件注册、tick 推进、事件派发
事件类型定义 astra-sim/common/Common.hh EventType 枚举全表
ET 样例生成 tests/rt_template/inputs/workload/gen_chakra_traces.py 手写最小 AllReduce ET
网络拓扑示例 inputs/network/ H100/HGX、TPU ring/torus 等 YAML 拓扑

小结

ASTRA-sim 的源码结构对新手相当友好:main() 定义了"点火 + 推进"的骨架,Chakra ET 执行引擎定义了"做什么"(依赖图解锁与节点分发),Sys 事件循环定义了"何时做"(双层事件队列与统一时间轴)。把这三块拼图对齐后,你就掌握了它支持 AllReduce 仿真、Roofline 建模与远端内存扩展的全部技术底座。下一步建议顺着 astra-sim/system/astraccl/native_collectives/ 目录看 Ring / DoubleBinaryTree 等集合通信算法的实现,体验"负载层事件如何驱动网络层数据包"的完整链路。

登录后查看全文
astra-sim