Linux 内核启动期内存管理(memblock)深度解析:结构、分配 API 与生命周期
Linux 内核启动期内存管理(memblock)深度解析:结构、分配 API 与生命周期
导读
在内核启动的极早期,常规的内存分配器(buddy 页分配器、slab 分配器)尚未就绪,但内核又必须为页分配器、页表、initrd 等各种数据结构预留内存。memblock 正是承担这一职责的专用启动期内存管理组件。本文基于内核源码 mm/memblock.c 与头文件 include/linux/memblock.h,完整梳理 memblock 的核心设计(memory / reserved / physmem 三种区域集合)、数据结构、区域添加与分配 API(物理地址与虚拟地址两大变体)、遍历宏、标志位语义以及数据结构的回收机制,帮助你从源码层面理解内核启动早期的内存是如何被组织、分配并最终移交给 buddy 系统的。
Memblock 是什么:启动早期的专用分配器
启动初期无法使用“常规”内存管理,因为常规分配器本身还没有建立起来,但内核依然需要为各种数据结构(例如物理页分配器自身)分配内存。memblock 就是在这个阶段执行启动期内存管理的专用分配器(见文档 Documentation/core-api/boot-time-mm.rst)。
其生命周期由架构相关代码负责:
- 在
setup_arch()中完成 memblock 的初始化与设置; - 在
mem_init()中完成拆除。
当系统启动推进到一定阶段后,架构相关的 mem_init() 会把所有内存释放给 buddy 页分配器,memblock 的使命至此基本结束。除非架构开启了 CONFIG_ARCH_KEEP_MEMBLOCK,否则系统初始化完成后,memblock 的数据结构(除 physmem 外)将被丢弃(memblock_discard(),参见 mm/memblock.c 与 include/linux/memblock.h 中的 __initdata_memblock/__init_memblock 定义)。
三种内存区域集合
memblock 把系统内存看作若干连续区域的集合,共分为三种类型(对应 mm/memblock.c 中的 DOC: memblock overview 注释):
| 类型 | 含义 |
|---|---|
memory |
内核可用的物理内存描述,可能与系统实际安装的物理内存不一致,例如通过内核命令行 mem= 参数限制后 |
reserved |
已被分配(保留)的区域 |
physmem |
启动期间实际可用的物理内存,不受内存限制与热插拔影响;仅在部分架构上可用(由 CONFIG_HAVE_MEMBLOCK_PHYS_MAP 控制) |
memory与reserved被封装在struct memblock中,该结构体在构建时静态初始化(见mm/memblock.c中全局实例struct memblock memblock的定义);- 区域数组的初始大小:
memory为INIT_MEMBLOCK_MEMORY_REGIONS(默认 128,即INIT_MEMBLOCK_REGIONS),reserved为INIT_MEMBLOCK_RESERVED_REGIONS(同样默认为 128),physmem为INIT_PHYSMEM_REGIONS(4,见mm/memblock.c顶部宏定义); memblock_allow_resize()允许在添加新区域时自动扩展区域数组。但该特性需要谨慎使用,以确保为区域数组分配的内存不会与应当保留的区域(例如 initrd)重叠。
核心数据结构
struct memblock_region
每个区域由 struct memblock_region 表示(定义于 include/linux/memblock.h):
struct memblock_region {
phys_addr_t base;
phys_addr_t size;
enum memblock_flags flags;
#ifdef CONFIG_NUMA
int nid;
#endif
};
字段含义:base 为区域起始物理地址,size 为区域大小,flags 为区域属性(见下文标志位),nid 为 NUMA 节点号(仅在 CONFIG_NUMA 下存在)。
struct memblock_type 与 struct memblock
struct memblock_type {
unsigned long cnt; /* 区域数量 */
unsigned long max; /* 数组已分配容量 */
phys_addr_t total_size; /* 所有区域总大小 */
struct memblock_region *regions;
char *name;
};
struct memblock {
bool bottom_up; /* 是否自底向上分配 */
phys_addr_t current_limit; /* 当前分配上限(物理地址) */
struct memblock_type memory;
struct memblock_type reserved;
};
struct memblock_type 保存某一类型(memory/reserved)的区域数组与分配器元数据;struct memblock 将 memory 与 reserved 两种类型封装在一起,并携带分配方向(bottom_up,默认关闭即自顶向下)与分配上限(current_limit,初始为 MEMBLOCK_ALLOC_ANYWHERE)。
区域属性标志位(enum memblock_flags)
| 标志 | 值 | 语义 |
|---|---|---|
MEMBLOCK_NONE |
0x0 | 无特殊请求 |
MEMBLOCK_HOTPLUG |
0x1 | 固件内存映射中标记为可热插拔的系统 RAM |
MEMBLOCK_MIRROR |
0x2 | 镜像区域 |
MEMBLOCK_NOMAP |
0x4 | 不加入内核直接映射,且在内存映射中按保留处理 |
MEMBLOCK_DRIVER_MANAGED |
0x8 | 始终由驱动探测并添加、不在固件内存映射中出现的区域 |
MEMBLOCK_RSRV_NOINIT |
0x10 | 保留区域中 struct pages 未完全初始化,使用者需自行初始化 |
MEMBLOCK_RSRV_KERN |
0x20 | 为内核使用保留的区域;所有 memblock 分配都会设置该标志 |
MEMBLOCK_KHO_SCRATCH |
0x40 | kexec 交接模式下可传给下一个内核的暂存内存 |
MEMBLOCK_RSRV_HUGETLB |
0x80 | 为 hugetlb 页保留的内存 |
构建内存布局:memblock_add 与节点归属
早期架构设置通过以下函数把物理内存布局告知 memblock:
memblock_add(base, size):添加一个区域,不为其指定 NUMA 节点,适用于 UMA 系统;也可用于 NUMA 系统,后续再通过memblock_set_node()指定节点;memblock_add_node(base, size, nid, flags):添加区域的同时直接指定 NUMA 节点;memblock_set_node(base, size, type, nid):为已存在的区域设置节点号。
在添加新区域的过程中,memblock 内部会通过 memblock_merge_regions() / memblock_insert_region()(mm/memblock.c)合并相邻区域或插入新区域,保证区域数组始终按地址有序。
分配 API:物理地址与虚拟地址两大变体
一旦 memblock 就绪,就可以通过两类 API 变体进行内存分配:
memblock_phys_alloc*()系列:返回所分配内存的物理地址;memblock_alloc*()系列:返回所分配内存的虚拟地址。
两类 API 变体都隐式依赖“允许的内存范围”和“回退方式”的假设,具体行为由 memblock_alloc_internal() 与 memblock_alloc_range_nid() 定义(文档建议查阅这两个函数的详细注释)。
常见分配函数
| 函数 | 说明 |
|---|---|
memblock_phys_alloc(size, align) |
返回物理地址,在 [0, MEMBLOCK_ALLOC_ACCESSIBLE] 范围内分配 |
memblock_phys_alloc_range(size, align, start, end) |
返回物理地址,限定范围 |
memblock_phys_alloc_try_nid(size, align, nid) |
返回物理地址,尝试指定节点 |
memblock_alloc(size, align) |
返回虚拟地址,范围 [MEMBLOCK_LOW_LIMIT, MEMBLOCK_ALLOC_ACCESSIBLE],任意节点 |
memblock_alloc_node(size, align, nid) |
返回虚拟地址,优先指定节点 |
memblock_alloc_from(size, align, min_addr) |
返回虚拟地址,指定下限 |
memblock_alloc_low(size, align) |
返回虚拟地址,限制在低地址(ARCH_LOW_ADDRESS_LIMIT,默认为 0xffffffffUL)之内 |
memblock_alloc_raw(size, align) |
返回虚拟地址,不进行清零的原始分配(基于 memblock_alloc_try_nid_raw) |
memblock_alloc_or_panic(size, align) |
分配失败时调用 panic() 打印调用者与大小,适用于必须成功的场景(见 __memblock_alloc_or_panic) |
memblock_alloc_try_nid() 的分配结果会被 memset 清零(见 mm/memblock.c),其 max_addr 参数传 MEMBLOCK_ALLOC_ACCESSIBLE 时表示仅从 memblock.current_limit 限制的内存中分配。
分配方向与上限控制
memblock_set_bottom_up(bool):设置分配方向为自底向上或自顶向下(默认自顶向下);memblock_set_current_limit(phys_addr_t limit):设置当前分配上限,将分配限制在启动期间当前可访问的物理地址范围内;- 特殊值:
MEMBLOCK_ALLOC_ANYWHERE(~(phys_addr_t)0):任意地址均可;MEMBLOCK_ALLOC_ACCESSIBLE(0):仅限current_limit内的可访问内存;MEMBLOCK_ALLOC_NOLEAKTRACE(1):同时隐含MEMBLOCK_ALLOC_ACCESSIBLE,并避免 kmemleak 追踪。
遍历内存区域的宏
memblock 提供了一组遍历宏(定义于 include/linux/memblock.h),底层由 __next_mem_range() / __next_mem_range_rev() 驱动:
| 宏 | 遍历对象 |
|---|---|
for_each_mem_range(i, p_start, p_end) |
遍历 memory 区域(排除 HOTPLUG 与 DRIVER_MANAGED 区域) |
for_each_mem_range_rev(i, p_start, p_end) |
反向遍历 memory 区域 |
for_each_reserved_mem_range(i, p_start, p_end) |
遍历所有 reserved 区域 |
for_each_free_mem_range(i, nid, flags, p_start, p_end, p_nid) |
遍历空闲区域(memory 且非 reserved) |
for_each_free_mem_range_reverse(...) |
反向遍历空闲区域 |
for_each_mem_pfn_range(i, nid, p_start, p_end, p_nid) |
按页帧号遍历已配置的内存范围 |
for_each_mem_region(region) / for_each_reserved_mem_region(region) |
直接遍历 memory / reserved 的区域数组 |
常用查询与控制接口
memblock_phys_mem_size():返回 memory 区域总大小(memblock.memory.total_size);memblock_reserved_size():返回 reserved 区域总大小;memblock_start_of_DRAM()/memblock_end_of_DRAM():返回 DRAM 起始 / 结束地址;memblock_is_memory(addr)/memblock_is_reserved(addr)/memblock_is_region_memory(base, size)/memblock_is_region_reserved(base, size):地址/区域归属查询;memblock_mark_hotplug()/memblock_mark_mirror()/memblock_mark_nomap()及对应clear_*变体:设置 / 清除区域属性标志;memblock_remove(base, size):移除区域;memblock_phys_free(base, size)/memblock_free(ptr, size):释放区域(后者接受虚拟地址指针);memblock_enforce_memory_limit(limit)/memblock_cap_memory_range(base, size)/memblock_mem_limit_remove_map(limit):配合mem=等内核参数对内存布局实施裁剪;memblock_estimated_nr_free_pages():在 buddy 尚未给出精确数字(尤其CONFIG_DEFERRED_STRUCT_PAGE_INIT场景)时,从 memblock 视角估算系统空闲页数量。
调试与命令行参数
memblock 内置调试输出开关:内核命令行传入 memblock=debug 时,会设置 memblock_debug 标志(见 mm/memblock.c 中的 early_memblock() 与 early_param("memblock", ...)),此时分配过程中的调试信息(调用者、大小、对齐、节点、地址范围等)会通过 memblock_dbg() 打印。memblock_dump_all() 则用于转储全部区域信息。
从 memblock 到 buddy:mem_init 的交接
系统启动推进后,架构相关的 mem_init() 会把 memblock 中的内存释放给 buddy 页分配器,这一过程在 mm/memblock.c 中体现为 free_low_memory_core_early() 等函数:遍历空闲区域、以最大对齐块为单位调用 memblock_free_pages() 逐段归还。同时,memmap_init_reserved_pages() 负责为 reserved 区域(包括 NOMAP 区域)初始化并标记 PageReserved 的 struct pages,NOMAP 区域会被计入保留页。
若未配置 CONFIG_ARCH_KEEP_MEMBLOCK,初始化结束后 memblock_discard() 将回收(若数组分配于 slab)memory 与 reserved 的区域数组,仅保留 physmem 信息供后续使用。
总结
memblock 是 Linux 内核启动期内存管理的基石:它以 memory / reserved / physmem 三组连续区域集合组织物理内存,通过 memblock_add() / memblock_add_node() 构建布局,以物理地址(memblock_phys_alloc*)与虚拟地址(memblock_alloc*)两大类 API 提供服务,并支持节点偏好、分配方向、分配上限与区域属性标志的精细控制。理解 memblock 的数据结构与 API,是深入内核启动流程(setup_arch → 早期分配 → mem_init 交接 buddy)的必备基础。如需进一步查阅细节,可直接阅读内核源码 mm/memblock.c、头文件 include/linux/memblock.h 以及本文所依据的文档 Documentation/core-api/boot-time-mm.rst。