HLO Op Profile与HLO Op Stats详解:用XProf快速分析XLA算子硬件利用率的3步指南

原创2026-11-18 09:48:091,619 阅读
文章标签:性能剖析机器学习深度学习数据可视化可观测性运维观测

HLO Op Profile与HLO Op Stats详解:用XProf快速分析XLA算子硬件利用率的3步指南

XProf 是一款面向机器学习的开源性能剖析工具(Profiling and Performance Analysis Tool),其中的 HLO Op Profile 与 HLO Op Stats 是深度分析 XLA 算子硬件利用率的核心工具,同时支持 TPU 与 GPU 平台。借助这两个工具,你可以快速定位模型中最耗时的算子、判断瓶颈是算力不足还是内存带宽受限,从而有针对性地优化训练或推理性能。

先理解 HLO:XLA 编译器描述算子的"语言"

HLO(High Level Operation)是 XLA 编译器用来表达模型计算的中间表示。XProf 在剖析(profiling)期间捕获每个 HLO 算子的实际执行时间,再结合编译器提供的静态成本分析(该算子需要的 FLOPs 数量、访存字节数),就能计算出每个算子的绝对吞吐(TFLOP/s、GB/s)与硬件利用率(百分比)。这是下文两个工具的数据基础。

工具一:HLO Op Profile —— 一眼看懂硬件利用率

HLO Op Profile 按 HLO 类别展示剖析期间的计算与内存带宽利用率,页面分为三个主要部分:

  1. 概览区:展示加速器整体的 FLOPS 计算利用率与 HBM 带宽利用率,并提示"空闲时间"占比,帮助你判断硬件整体是否用满。
  2. 明细表格:按"模块 → 类别 → 算子"层级展开利用率。默认按耗时占比排序,也可以切换为按 wasted time(低利用率 × 高耗时的加权值)排序,直接找出"又慢又低效"的算子。
  3. 算子详情卡片:鼠标悬停显示平均执行时间、计算/带宽的绝对速率(TFLOP/s、GB/s)、算子形状与布局、框架层来源等信息;点击表格行可将卡片固定。

XProf HLO Op Profile工具界面展示TPU整体FLOPS利用率与HBM内存带宽利用率

表格上方还提供 Group by Category、Order by wasted time、Top 90%、Exclude Idle 等开关和 Ops Limit 设置,方便聚焦 Top 算子。固定详情卡片的效果如下:

XProf HLO Op Profile固定算子详情卡片展示执行时间与TFLOPS带宽等硬件利用率数据

💡 注意:原始带宽(GB/s)与计算速率(TFLOP/s)由"编译器静态 FLOPs/字节数 ÷ 剖析实测时长"算出;而利用率百分比则是相对该加速器峰值算力或峰值带宽的占比。

工具二:HLO Op Stats —— 每个算子的完整性能统计

如果说 HLO Op Profile 回答"硬件用了多少",HLO Op Stats 则回答"每个算子花了多少时间、性能如何"。它由汇总图表区和算子统计表两部分组成。

汇总图表区:用 6 张图快速定位时间去向

XProf HLO Op Stats工具图表展示HLO类别时间分布、重计算占比与GFLOPS统计

图表区包含:

  • Time per HLO category:卷积融合(Convolution fusion)、循环、逐点运算(pointwise)等类别的时间占比
  • Time per HLO operation:Top-N 单个算子的时间占比,其余归入 "Other"
  • Time spent on rematerialization:重计算(rematerialization)算子占总时间的比例,信息来自编译器元数据
  • Time spent on outside compilation:通过 TensorFlow outside compilation 回退到 CPU 执行的算子时间
  • MEASURED GFLOPS/SEC:所有 HLO 算子按自耗时排序的实测 GFLOPS/s 柱状图
  • TPU 专属:按副本组(replica group)查看集合通信算子的时间分布

算子统计表:20+ 字段,默认按自耗时排名

XProf HLO Op Stats算子统计表展示每个HLO算子的执行时间、FLOPS、内存带宽与Roofline瓶颈字段

表中每行对应一个 HLO 算子,建议新手重点关注这些字段:

字段 含义
Rank 按总自耗时(total self time)的排名,默认排序依据
Total self time (%) 该算子"净耗时"占设备总时间的百分比(不含子算子)
DMA stall (%) 执行期间因 DMA 传输而停滞的时间占比
Model GFLOPS/s 编译器静态 FLOPs ÷ 实测时长
Normalized GFLOPS/s 按数值精度归一化的 GFLOPS/s(如 TPU v6e 的 int8 峰值是 bf16 的两倍,默认归一化到 bf16)
Operational intensity 每字节访存的 FLOPs 数,用于 Roofline 分析
Compute/Memory bound 基于 Roofline Model 判定算子受算力还是内存带宽限制
Rematerialization / Outside compilation / Autotuned 标记重计算、CPU 回退、XLA 自动调优算子

表格支持选择展示列、按 HLO 类别过滤,以及按 Program ID、算子名、HLO 文本、框架算子名进行字符串搜索。GPU 平台上 HLO 算子与实际执行的 kernel 是 N:M 关系,如需 kernel 级统计可进一步使用 GPU Kernel Stats 工具。

组合使用:3 步找出性能瓶颈

🎯 推荐的分析流程:

  1. 看整体:打开 HLO Op Profile,先看页首的整体 FLOPS 与 HBM 带宽利用率,判断模型整体是"算力没吃满"还是"带宽没吃满";
  2. 找算子:在表格中开启 "Order by wasted time" 或按 self time 排序,锁定低利用率但高耗时占比的算子,通过详情卡片查看其形状、出现次数与绝对速率;
  3. 定原因:在 HLO Op Stats 表格中确认该算子是 Compute bound 还是 Memory bound、是否属于重计算,需要看数据流时可跳转 Graph Viewer 查看 HLO 图结构。

两个工具与 Graph Viewer 的联动很顺滑——从 Op Profile 的算子详情卡片可以直接跳转到 HLO 图中对应的节点:

XProf Graph Viewer展示从HLO Op Profile联动的HLO算子图结构

实现原理与关键文件

小结

HLO Op Profile 管"硬件利用率",HLO Op Stats 管"算子级时间与性能统计",两者都同时支持 TPU 与 GPU。组合使用即可从"硬件到底用了多少"推进到"哪些算子在浪费时间、瓶颈在哪里",是 XLA 模型(无论 JAX、PyTorch/XLA 还是 TensorFlow)性能优化的首选入手点 🚀。

登录后查看全文
xprof