从源码读懂 ASTRA-sim:Chakra ET 执行引擎与仿真循环深度剖析
从源码读懂 ASTRA-sim:Chakra ET 执行引擎与仿真循环深度剖析
ASTRA-sim 2.0 是一个面向大规模分布式 AI 训练系统的多保真度模拟器,它把真实训练框架的执行追踪(Execution Trace)翻译成可复现的仿真事件。本文从源码视角带你读懂它的两大核心:基于 Chakra ET 的执行引擎(Workload)和事件驱动的仿真循环(Sys + 事件队列),帮助新手快速建立从"一行 main()"到"百万事件调度"的完整心智模型。
如上图所示,ASTRA-sim 采用清晰的分层 + 插件化设计:上层 Workload 与 System 层由 ASTRA-sim 本体负责,下层网络、内存、计算模型通过 Network API / Memory API / Compute API 三组接口插拔。理解这套结构后,再看事件驱动循环就水到渠成了。
一次仿真的起点:main() 主流程拆解
所有分析型(analytical)网络前端都从一份极简洁的 main() 启动,见 main.cc:
- 解析命令行参数:workload、system、network、remote-memory 四类配置文件(
--workload-configuration等); - 创建全局事件队列:
std::make_shared<EventQueue>()并注入拓扑(main.cc#L50-L56); - 为每个 NPU 实例化一对对象:
CongestionAwareNetworkApi(网络前端)+Sys(系统层实体),循环npus_count次完成"复制拓扑"(main.cc#L79-L91); - 点火 + 死循环推进时间,整个仿真循环只有 3 行:
while (!event_queue->finished()) {
event_queue->proceed();
}
💡 新手注意:
while循环之外没有任何"时间步长"或"for 循环"——时间完全由事件驱动,这是 ASTRA-sim 与离散事件仿真框架(如 ns-3)一脉相承的设计。
Chakra ET 执行引擎:把训练负载变成事件
ASTRA-sim 2.0 的负载输入是 MLCommons Chakra 执行追踪(ET)文件。每个 NPU 对应一个 <workload>.<npu_id>.et,由 Workload 构造函数中的 ETFeeder 加载:
string workload_filename = et_filename + "." + to_string(sys->id) + ".et";
this->et_feeder = new ETFeeder(workload_filename);
ET 文件是怎么来的?
仓库自带的回归测试模板 gen_chakra_traces.py 是最好的"最小样例":用 protobuf 编码写 8 个 .et 文件,每个 NPU 里只有一个 COMM_COLL_NODE 节点,属性包括 is_cpu_op、comm_type=ALL_REDUCE、comm_size=1MB。真实场景中,ET 由 MLCommons Chakra 工具从 PyTorch 等框架采集而来。
节点分发:一个 node 如何变成一次仿真
Workload::issue() 是执行引擎的分发表,按 ET 节点类型路由:
| ET 节点类型 | 处理方式 | 说明 |
|---|---|---|
MEM_LOAD / MEM_STORE |
issue_remote_mem() | 走 Remote Memory API,模拟远端内存读写 |
COMP_NODE |
issue_comp() 或 issue_replay() | Roofline 模式按算术强度算性能;replay 模式直接回放追踪里的真实耗时(µs→ns) |
COMM_COLL_NODE |
issue_coll_comm() | 生成 DataSet,触发 AllReduce / AllGather / AllToAll / ReduceScatter / Broadcast |
COMM_SEND / RECV |
issue_send_comm() / issue_recv_comm() | 点对点消息,经 front_end_sim_send/recv 注入网络 |
METADATA_NODE |
issue_metadata() | 解析 PyTorch process group 元信息 |
其中 Roofline 计算是亮点:operational_intensity = num_ops / tensor_size,再查 Roofline 模型得到该节点的执行时间——用公式替代回放,这正是"多保真度仿真的保真度旋钮"之一。
依赖解析器:仿真循环的心脏 🔥
ET 本质上是一张带依赖关系的有向图(例如:MatMul → AllReduce → MatMul)。ETFeeder 内置的 DependancyResolver 负责回答一个问题:现在哪些节点可以执行了?
整个循环只有三步,闭环在 Workload::call() 中:
- 取就绪节点:issue_dep_free_nodes() 从依赖解析器取出所有"依赖已满足"的节点,逐个
issue(); - 完成即推进:每个节点执行完毕(如集合通信结束)时,
call()收到CollectiveCommunicationFinished事件,调用finish_node(node_id)标记完成; - 释放下游:紧接着再次
issue_dep_free_nodes()——被依赖的下游节点此刻"解锁",级联式地把整张 ET 图推完。
终止判定同样简洁:当依赖就绪集为空、无进行中节点、CPU/GPU 在途操作为 0 时,Workload 输出统计并调用 sim_notify_finished() 通知网络层。
仿真循环:EventQueue 如何驱动时间前进
事件注册:双层事件队列
系统层并不直接操纵全局时间,而是维护一个本地事件缓存 event_queue(按 tick 索引的 map)。Sys::try_register_event() 的逻辑非常巧妙:
- 把
(callable, event, data)追加到event_queue[当前tick + delta]; - 只有当某个未来 tick 首次被占用时,才调用
comm_NI->sim_schedule()向网络后端"预约"一次CallEvents唤醒。
这样,同一 tick 上的 N 个事件只需一次调度开销。全局时间由 Sys::boostedTick() 从网络后端读取(1ns 精度),时间唯一权威在网络模拟器手里——计算、内存、通信事件全都挂在同一条时间轴上。
事件派发:handleEvent 是中央调度台
当网络队列推进到预约时刻,会回调 Sys::handleEvent(),它按 EventType 分发:
| 事件 | 去向 |
|---|---|
CallEvents |
call_events():批量执行当前 tick 缓存的所有回调 |
CompFinished / MemLoadFinished / MemStoreFinished |
转交 workload->call(),触发依赖解析推进 |
PacketReceived / PacketSent |
转交 workload->call(),并可唤醒 rendezvous 与自定义集合通信算法 |
RendezvousSend / Recv |
直接唤醒对应的 send/recv 可调用对象 |
📌 一句话总结仿真循环:ET 依赖图解锁节点 → 节点注册定时事件 → 网络队列推进时间 → handleEvent 回调 → 节点标记完成 → 解锁下游节点,周而复始直到所有 ET 节点执行完毕、事件队列
finished()。
跑通一个最小仿真:回归测试模板
仓库的 tests/rt_template/ 提供了可一键运行的完整闭环,run.sh 依次执行:
gen.sh调用 gen_chakra_traces.py 生成 8 个 NPU 的.et文件;- 用四类配置文件启动分析型二进制(网络 network_cfg.yml、系统 system_cfg.json、远端内存 remote_memory_cfg.json);
- 清洗日志后与 refs/stdout.txt 做
diff校验。
想亲手改一改?把 gen_chakra_traces.py 里的 comm_size 从 1MB 改成 8MB,就能直观观察仿真时间如何变化——这是理解"通信-计算重叠"最快的实验。
关键源码地图 🗺️
| 模块 | 路径 | 职责 |
|---|---|---|
| 仿真入口 | astra-sim/network_frontend/analytical/congestion_aware/main.cc | 参数解析、拓扑构建、仿真主循环 |
| Chakra ET 执行引擎 | astra-sim/workload/Workload.cc | 节点分发、依赖解析、事件回调、统计上报 |
| 事件队列核心 | astra-sim/system/Sys.cc | 事件注册、tick 推进、事件派发 |
| 事件类型定义 | astra-sim/common/Common.hh | EventType 枚举全表 |
| ET 样例生成 | tests/rt_template/inputs/workload/gen_chakra_traces.py | 手写最小 AllReduce ET |
| 网络拓扑示例 | inputs/network/ | H100/HGX、TPU ring/torus 等 YAML 拓扑 |
小结
ASTRA-sim 的源码结构对新手相当友好:main() 定义了"点火 + 推进"的骨架,Chakra ET 执行引擎定义了"做什么"(依赖图解锁与节点分发),Sys 事件循环定义了"何时做"(双层事件队列与统一时间轴)。把这三块拼图对齐后,你就掌握了它支持 AllReduce 仿真、Roofline 建模与远端内存扩展的全部技术底座。下一步建议顺着 astra-sim/system/astraccl/native_collectives/ 目录看 Ring / DoubleBinaryTree 等集合通信算法的实现,体验"负载层事件如何驱动网络层数据包"的完整链路。
