GPU 内存迷局:gpu-glossary 内存层级体系全解——从寄存器、共享内存到全局内存

原创2026-10-28 10:32:501,816 阅读

GPU 内存迷局:gpu-glossary 内存层级体系全解——从寄存器、共享内存到全局内存

gpu-glossary 是一个开源的 GPU 术语字典项目("GPU documentation for humans"),本文基于其中的权威条目,一次讲清 GPU 内存层级体系的三个层级:寄存器、共享内存与全局内存,帮助新手理解 CUDA 编程模型下的内存分配策略,并掌握 GPU 内存优化的核心思路。

为什么 GPU 内存是"迷局"?🧩

GPU 的算力增长极快,但内存访问往往是性能的天花板。以 H100 为例,其内存带宽高达 3.35 TB/s,但访问延迟与数据存放的位置密切相关。gpu-glossary 在 memory-hierarchy.md 中给出了关键洞察:

CUDA 编程模型中,线程层级的每一级,都对应一块专属的共享内存,共同构成"内存层级"(memory hierarchy)。

这个体系里藏着三个最经典的"坑":

  • 寄存器:用得太省还好,用得太猛会压低 occupancy(占用率),拖慢整个 kernel;
  • 共享内存:地址安排不当会触发 bank conflict(存储体冲突),访问被串行化,延迟最多放大 32 倍;
  • 全局内存:访问模式不连续会浪费宝贵的 DRAM 带宽。

搞懂这三层内存"谁管数据、放在哪、多快",你就走出了迷局。

GPU 内存层级体系总览 📊

gpu-glossary 将软件层的内存层级与硬件层的实现一一映射,核心对应关系如下:

软件层(内存) 共享范围(线程层级) 硬件载体 H100 示例规模
寄存器(Registers) 单个 线程 SM 的寄存器文件(Register File) 每 SM 65,536 个 32 位寄存器(256 KiB)
共享内存(Shared Memory) 一个 线程块(Thread Block) SM 的 L1 数据缓存 每 SM L1 共 256 KiB,可编程共享内存约 228 KB
全局内存(Global Memory) 整个 线程块网格(Grid) GPU RAM(HBM 显存) 80 GiB

一句话记住:层级越高,范围越大、容量越大,但速度越慢;层级越低,越快、越私有。这正是 GPU 内存体系与 CPU 最大的不同——它是由程序员显式管理的(而非硬件自动缓存),详见 cuda-programming-model.md。

第一层:寄存器——每个线程的"贴身钱包" 💰

寄存器是内存层级中最低、最快的一层,存放单个线程正在操作的数据,物理上位于 SM(流式多处理器)的寄存器文件 中。

几个关键事实(来自 registers.md 与 register-file.md):

  • 速度极快:寄存器由 SRAM 工艺实现,比 L1 数据缓存还快约一个数量级,足以跟上计算核心的节奏;
  • 对程序员"隐形":在 CUDA C 等高级语言中无法直接操作寄存器,它们只存在于 PTX 等中间表示中,由 ptxas 等编译器自动分配;
  • 代价高昂的溢出:当线程需要的寄存器超过配额时,数据会被"溢出"(spill)到全局内存,带来巨大的性能惩罚;
  • 与 occupancy 直接挂钩:编译器会刻意压缩每个线程的寄存器用量,以便同时调度更多线程块。寄存器压力(register pressure)过高 → 可并发线程数下降 → occupancy 降低 → 延迟隐藏 能力变弱。

新手理解方式:寄存器就像你口袋里的现金——随取随用、零等待,但容量有限;一旦"塞不下"就要跑一趟银行(全局内存),来回耗时惊人。

第二层:共享内存——线程块内的高速协作区 🤝

共享内存对应 线程块 这一层级,是块内所有线程都能读写的"协作白板"。它物理上存放在 L1 数据缓存 中(H100 上每个 SM 的 L1 为 256 KiB,并在这几个线程块之间分区),比全局内存小得多,但也快得多。

典型的 kernel 工作流

gpu-glossary 的 shared-memory.md 总结了高性能 kernel 的四步套路:

  1. 从全局内存加载数据到共享内存;
  2. 用 CUDA Cores / Tensor Cores 对这批数据做批量算术;
  3. 计算中通过 **barrier(屏障)**同步块内线程;
  4. 将结果写回全局内存,必要时用原子操作防止跨块竞争。

最容易踩的坑:bank conflict(存储体冲突)⚠️

共享内存被划分为 32 个 bank,每个 4 字节宽,连续 32 位字映射到连续 bank。不同 bank 可被并行访问,但如果同一个 warp 的 32 个线程同时访问同一 bank 的不同地址,访问就被串行化,延迟可能从几十个周期膨胀到数百个周期——这正是 bank-conflict.md 中记录的"32 倍串行化"场景。常见解法是对数组做转置或调整步长。

💡 记忆口诀:线程访问共享内存"排排队"要分散到 32 个 bank,撞车(同 bank 不同地址)就会堵车。

第三层:全局内存——全设备可见的主内存 🏬

全局内存(global memory)是层级中最高的一层,特点(来自 global-memory.md):

  • 范围全局:网格(grid)中的每个线程都可访问;
  • 生命周期全局:与整个程序一样长;
  • 物理载体是 GPU RAM:即显卡上的显存(VRAM),H100 达 80 GiB,数据中心 GPU 采用 HBM 技术以获得高带宽(详见 gpu-ram.md);
  • 由主机端分配:通过 CUDA Driver API 或 Runtime API 的内存分配器在 host 上申请。

全局内存的性能开关:memory coalescing(访存合并)

全局内存虽大,但 DRAM 延迟很高。memory-coalescing.md 揭示了一个关键机制:

  • DRAM 每次访问会并行读出一段连续地址(一次"burst"),通常单次 burst 可服务 128 字节——恰好够一个 warp 的 32 个线程各读一个 4 字节 float;
  • 当 warp 内多个逻辑读请求能被同一次物理 burst 满足时,访问就是"合并"(coalesced)的,带宽利用率拉满;
  • 反之,步长(stride)每翻倍,所需 burst 数量翻倍,实测吞吐量近似腰斩(stride=1 约 206 GB/s,stride=4 已跌至 68.8 GB/s)。

因此"让 warp 内线程以连续地址访问全局内存"是 CUDA 优化的第一铁律。

一个容易混淆的命名 ⚠️

CUDA C 中的 __global__ 关键字标注的是"在主机端启动、设备端执行"的函数(即 kernel),而"全局内存"是纯设备侧概念——gpu-glossary 特别引用了 CUDA 早期架构师 Nicholas Wilt 的调侃:这个命名是"为了最大化的开发者困惑"。

实战:如何写出内存友好的 CUDA kernel?🚀

把三层内存用起来,判断标准只有一个——数据被谁复用、复用多少次:

使用场景 应放的层级 优化要点
只被单个线程读写 寄存器 控制每线程寄存器用量,避免 spill
块内多个线程反复读取 共享内存 先批量从全局内存载入;规避 bank conflict(转置/调步长)
跨块共享或超大数据 全局内存 访存合并(连续 128 字节对齐);用 barrier/原子操作同步

再结合三个进阶概念,性能上限还能再拉高一截:

  1. occupancy 的平衡:寄存器与共享内存都会限制每个 SM 上能并发的线程块数量(occupancy.md 中 H100 实例显示 12 KB 共享内存/块时最多只排得下 19 个块)。occupancy 不是越高越好——足够隐藏延迟即可;
  2. 延迟隐藏(latency hiding):GPU 靠成百上千个并发 warp 轮流上脚,当一个 warp 卡在全局内存读取时立刻切到别的 warp,让执行单元永不停转(latency-hiding.md);
  3. roofline 视角:全局内存带宽决定了 roofline 模型的"斜率",提升每次访存附带的计算量(算术强度)才能逼近算力峰值(memory-bandwidth.md、roofline-model.md)。

延伸阅读:在 gpu-glossary 中继续深挖 📚

如果你想把每个术语的来龙去脉看个究竟,可以把仓库克隆到本地,按目录精读:

git clone https://gitcode.com/gh_mirrors/gp/gpu-glossary

推荐阅读路径(由浅入深):

概念篇

单层精读

硬件对应

性能篇


总结:GPU 内存层级本质上是"用速度换容量"的三级阶梯——寄存器快如闪电但寸土寸金,共享内存是块内协作的高速中转站,全局内存容量巨大但每一步都要付出延迟。认清每一层的作用域、物理位置和失效模式,再配合访存合并、bank 分布与 occupancy 的权衡,你就能在 GPU 内存的迷局中走出自己的快车道。🏁

登录后查看全文
gpu-glossary