Linux 内核初始化(一):x86_64 内核入口点、GDT 与早期页表构建全解析
Linux 内核初始化(一):x86_64 内核入口点、GDT 与早期页表构建全解析
导读
本篇是 Linux 内核初始化章节的第一部分,承接 Linux 内核启动过程 的结尾,从 startup_64 这一 x86_64 内核真正的入口点出发,逐条指令剖析内核在进入 C 语言世界之前必须完成的三个核心动作:搭建执行环境(栈、gs 寄存器)、装载属于内核自己的全局描述符表(GDT)、重建早期页表并把执行流切换到内核链接时的高虚拟地址空间。读完本文,你将掌握内核如何验证入口点、为何必须用 __pi_ 前缀与 RIP 相对寻址约束早期启动代码、物理地址与虚拟地址之间 p2v_offset 换算的数学本质,以及 cr3 切换前后的身份映射(identity mapping)与 TLB 冲刷策略,为理解后续的 start_kernel 初始化打下坚实基础。
从启动到初始化:内核入口点的到来
启动章节结束时,内核解压器已经完成全部工作:extract_kernel 函数返回了内核入口点的地址,该地址被放入 rax 寄存器,执行流直接跳转到它。这段代码位于解压器入口文件(对应上游 Linux 源码 arch/x86/boot/compressed/head_64.S):
call extract_kernel /* returns kernel entry point in %rax */
/*
* Jump to the decompressed kernel.
*/
movq %r15, %rsi
jmp *%rax
也就是说,此刻我们终于抵达了真正的内核代码。x86_64 内核的入口点名为 startup_64,定义于 arch/x86/kernel/head_64.S:
__INIT
.code64
SYM_CODE_START_NOALIGN(startup_64)
如何验证入口点地址
我们可以借助 ELF 头与符号表来交叉验证 startup_64 确实是入口点。先用 readelf 查看 vmlinux 的入口点地址:
readelf -h vmlinux | grep "Entry point address"
Entry point address: 0x2e9f1b0
内核符号位于高虚拟地址(下文会详述),因此把 startup_64 的符号地址减去文本映射基址 0xffffffff80000000,得到对应的物理地址:
printf "0x%x\n" $(( $(nm vmlinux | grep -w "startup_64" | cut -d' ' -f1 | sed 's/^/0x/') - 0xffffffff80000000 ))
0x2e9f1b0
两个地址一致,证明 startup_64 即内核入口点。
内核的第一批指令:从保存 boot_params 到建立栈
进入 startup_64 后,内核首先要保护来自早期阶段的关键数据。解压器通过 rsi 寄存器传入 boot_params 结构指针(回顾上面的 movq %r15, %rsi),内核将其保存到 r15:
mov %rsi, %r15
原因很直接:rsi 属于 caller-saved(调用者保存)寄存器,任何函数调用都可能覆盖它;而 r15 属于 callee-saved(被调用者保存)寄存器,在函数调用后仍然可靠。初始化期间内核需要反复读取 bootloader 与早期设置阶段收集的信息,因此必须把它放在安全的位置。
接下来是栈。没有合法的栈,push、pop、call 指令会读写不可预测的内存,函数调用根本无法进行。内核随即设置栈指针:
leaq __top_init_kernel_stack(%rip), %rsp
__top_init_kernel_stack 是 init task 的栈顶——这个 task 最终会演变为 PID 0 的 idle 进程。栈大小为 16384 字节,其顶端由链接脚本(arch/x86/kernel/vmlinux.lds.S)定义:
__top_init_kernel_stack = __end_init_stack - TOP_OF_KERNEL_STACK_PADDING - PTREGS_SIZE;
两次减法各有所指:
TOP_OF_KERNEL_STACK_PADDING:目前预留给 Intel FRED(Flexible Return and Event Delivery)机制;PTREGS_SIZE:为中断处理时压入的寄存器帧预留空间。
栈就绪后,内核就可以安全地执行栈操作与函数调用了。
清零 gs 基址:为什么用 wrmsr
接下来的几条指令处理 gs 寄存器。内核通过 gs 访问 per-CPU 数据结构(per-CPU 变量的定义、.data..percpu 段与 per_cpu_ptr 宏的完整机制,可参考 per-CPU 变量讲解),但此刻它可能还残留早期 setup 代码留下的任意值——如果拿这个垃圾值当作 per-CPU 访问的基址,内核会读写到错误的内存位置。因此内核把它清零:
movl $MSR_GS_BASE, %ecx
xorl %eax, %eax
xorl %edx, %edx
wrmsr
这里用到了模型特定寄存器(Model-Specific Register,MSR)。MSR 是用于控制处理器特性的一类特殊 CPU 寄存器,通过两条指令访问:rdmsr 读取、wrmsr 写入。上面的代码把 64 位值写入 ecx 指定的 MSR,值来自 edx:eax 寄存器对;由于 eax、edx 均已清零,gs 基址被设为 0。
为什么不直接用 mov 加载 gs?根据 Intel® 64 and IA-32 Architectures Software Developer's Manual,长模式下 CPU 通过 MSR 管理 gs 基址,而非依赖 GDT 描述符:
The hidden descriptor register fields for FS.base and GS.base are physically mapped to MSRs in order to load all address bits supported by a 64-bit implementation. Software with CPL = 0 (privileged software) can load all supported linear-address bits into FS.base or GS.base using WRMSR.
-- Intel® 64 and IA-32 Architectures Software Developer's Manual, vol. 3A, section 3.4.4, "Segment Loading Instructions in IA-32e Mode"
gs 清零后,内核把注意力转向另一个从早期阶段继承而来的结构——全局描述符表。
内核 GDT 的建立:为什么要再装一次
没错,GDT 又来了,而且这不是最后一次。我们在启动过程章节见过的 gdt64 只是解压期间使用的临时表。内核不能继续使用它,原因有二:
- 解压器的 GDT 位于解压器自己的内存中,内核切换到自己的页表后该内存将不再被映射;
- 每个 CPU 都需要自己的 GDT——每个 CPU 使用自己的任务状态段(TSS),而 TSS 的 GDT 条目必须指向 CPU 局部的数据。TSS 保存了处理器从用户态进入内核及处理异常时使用的栈信息。
为此,内核装载了定义于 arch/x86/kernel/cpu/common.c 的 per-CPU 全局描述符表,包含内核所需的完整段集合。尽管 Intel 手册指出长模式下分段基本被禁用:
In 64-bit mode, segmentation is generally (but not completely) disabled, creating a flat 64-bit linear-address space. The processor treats the segment base of CS, DS, ES, SS as zero, creating a linear address that is equal to the effective address.
-- Intel® 64 and IA-32 Architectures Software Developer's Manual, vol. 3A, section 3.2.4, "Segmentation in IA-32e Mode"
内核仍要装载下列段描述符:
| 描述符常量 | 用途 |
|---|---|
GDT_ENTRY_KERNEL_CS |
内核代码段 |
GDT_ENTRY_KERNEL_DS |
内核数据段,主要用于栈访问 |
GDT_ENTRY_KERNEL32_CS |
32 位内核段,用于切换到保护模式(如重启、四级/五级页表切换、启动次 CPU) |
GDT_ENTRY_DEFAULT_USER_CS |
用户空间代码段 |
GDT_ENTRY_DEFAULT_USER_DS |
用户空间数据段(栈与数据访问) |
GDT_ENTRY_DEFAULT_USER32_CS |
32 位用户段,用于运行 32 位用户程序 |
长模式下虽然代码段的基址与限长被忽略、不再参与地址计算,但其他字段仍然生效——例如特权级检查依然执行,这正是仍然要装载这些描述符的主要原因。
装载新 GDT 的调用如下:
call __pi_startup_64_setup_gdt_idt
_pi 前缀:位置无关代码的强制性约束
在查看这个函数之前,有个值得注意的细节:直接 grep 内核源码找不到 __pi_startup_64_setup_gdt_idt 这个符号的定义:
rg __pi_startup_64_setup_gdt_idt
arch/x86/kernel/head_64.S
74: call __pi_startup_64_setup_gdt_idt
它的真正定义位于 arch/x86/boot/startup/gdt_idt.c,且不带前缀:
void __init startup_64_setup_gdt_idt(void)
arch/x86/boot/startup 目录下的所有符号都通过 objcopy 加上了 __pi_ 前缀,对应 Makefile 规则:
$(pi-objs): objtool-args = $(if $(delay-objtool),--dry-run,$(objtool-args-y)) --noabs
#
# Confine the startup code by prefixing all symbols with __pi_ (for position
# independent). This ensures that startup code can only call other startup
# code, or code that has explicitly been made accessible to it via a symbol
# alias.
#
$(obj)/%.pi.o: OBJCOPYFLAGS := --prefix-symbols=__pi_
$(obj)/%.pi.o: $(obj)/%.o FORCE
$(call if_changed,objcopy)
如注释所言,加前缀是为了**圈禁(confine)**早期启动代码:通过改写该目录下所有符号,构建系统限制启动代码只能引用其他启动例程或显式暴露给它的符号。同时 objtool 会检查没有生成绝对地址引用。
为什么需要这些手段?此刻内核仍在身份映射页表上运行——它把物理内存前 4 GB 1:1 映射到低物理地址;而内核链接在 0xffffffff80000000 起的高虚拟地址。任何绝对地址引用都会指向当前身份映射覆盖不到的高虚拟地址,从而触发内核尚未准备好处理的页错误。因此早期启动代码必须只使用位置无关的 RIP 相对寻址。
startup_64_setup_gdt_idt 的三步工作
startup_64_setup_gdt_idt 函数完成三件事:
- 用
lgdt指令装载新 GDT(该指令在启动章节已熟悉); - 用
__KERNEL_DS选择子重载数据段寄存器; - 装载一个早期 IDT——除非开启了 AMD Secure Memory Encryption(SME),否则它是空的。
注意 rip_rel_ptr 的用法:内核仍运行在低身份映射地址上,不能直接使用 gdt_page 的链接期虚拟地址,必须用位置无关技术获取其运行时地址:
void __init startup_64_setup_gdt_idt(void)
{
struct gdt_page *gp = rip_rel_ptr((void *)(__force unsigned long)&gdt_page);
void *handler = NULL;
struct desc_ptr startup_gdt_descr = {
.address = (unsigned long)gp->gdt,
.size = GDT_SIZE - 1,
};
/* Load GDT */
native_load_gdt(&startup_gdt_descr);
/* New GDT is live - reload data segment registers */
asm volatile("movl %%eax, %%ds\n"
"movl %%eax, %%ss\n"
"movl %%eax, %%es\n" : : "a"(__KERNEL_DS) : "memory");
if (IS_ENABLED(CONFIG_AMD_MEM_ENCRYPT))
handler = rip_rel_ptr(vc_no_ghcb);
startup_64_load_idt(handler);
}
gdt_page 定义于 arch/x86/kernel/cpu/common.c,内含上面提到的段描述符。注意注释中点出的两个细节:IRET 会检查段类型(所以长模式下也需要合法的内核数据/代码段);同时 sysret 指令对 GDT 布局有特殊要求:
DEFINE_PER_CPU_PAGE_ALIGNED(struct gdt_page, gdt_page) = { .gdt = {
#ifdef CONFIG_X86_64
/*
* We need valid kernel segments for data and code in long mode too
* IRET will check the segment types kkeil 2000/10/28
* Also sysret mandates a special GDT layout
*
* TLS descriptors are currently at a different place compared to i386.
* Hopefully nobody expects them at a fixed place (Wine?)
*/
[GDT_ENTRY_KERNEL32_CS] = GDT_ENTRY_INIT(DESC_CODE32, 0, 0xfffff),
[GDT_ENTRY_KERNEL_CS] = GDT_ENTRY_INIT(DESC_CODE64, 0, 0xfffff),
[GDT_ENTRY_KERNEL_DS] = GDT_ENTRY_INIT(DESC_DATA64, 0, 0xfffff),
[GDT_ENTRY_DEFAULT_USER32_CS] = GDT_ENTRY_INIT(DESC_CODE32 | DESC_USER, 0, 0xfffff),
[GDT_ENTRY_DEFAULT_USER_DS] = GDT_ENTRY_INIT(DESC_DATA64 | DESC_USER, 0, 0xfffff),
[GDT_ENTRY_DEFAULT_USER_CS] = GDT_ENTRY_INIT(DESC_CODE64 | DESC_USER, 0, 0xfffff),
用 lretq 重载代码段
新 GDT 就位后,内核重载代码段寄存器,改用新 GDT 中的 __KERNEL_CS 选择子:
pushq $__KERNEL_CS
leaq .Lon_kernel_cs(%rip), %rax
pushq %rax
lretq
这段代码从结尾读更容易理解:lretq 从栈弹出两个值——第一个进 rip,第二个进 cs。执行后 CPU 继续运行在紧邻 lretq 之后的 .Lon_kernel_cs 处,确保内核运行在自己 GDT 的正确代码段上。下一个需要更新的结构是页表。
切换到内核页表:为什么必须重建
[!NOTE] 本节代码同时处理 5 级页表(5-level paging)与 AMD Secure Memory Encryption(SME)。为使讲解聚焦核心页表建立流程,本文不展开这两个主题。
GDT 就位后的大动作是调整页表。这是早期初始化中最关键的部分之一,内核需要:
- 建立把内核映射到其高虚拟地址的页表;
- 创建临时身份映射,保证切换到新页表时不触发页错误;
- 执行到新页表的切换。
x86_64 页表回顾:四层结构与 P4D 折叠
虚拟地址到物理地址的翻译最多经过四级页表:
- PGD —— Page Global Directory(页全局目录)
- PUD —— Page Upper Directory(页上级目录)
- PMD —— Page Middle Directory(页中间目录)
- PTE —— Page Table Entry(页表项)
现代内核实际上还定义了第五级 P4D(Page Level 4 Directory),位于 PGD 与 PUD 之间;启用 5 级页表时它把虚拟地址空间从 2^48 扩展到 2^57 字节。但多数系统仍使用 4 级页表——要么 CPU 不支持 5 级页表,要么通过内核命令行参数 no5lvl 关闭。那这多余的一级怎么办?
答案是一个名为**页表折叠(page table folding)**的技巧:5 级页表被禁用时,P4D 级被折叠进 PGD。内核把 p4d_t 定义为 pgd_t 的包装:
typedef struct { pgd_t pgd; } p4d_t;
页表层级还有一点值得注意:并非所有层级都必须使用。使用更大的页面大小时,PTE 甚至 PMD 这类较低层级可以省略——早期内核页表就用 2 MB 大页,此时 PMD 条目直接映射物理页。接下来要建立的正是下面三级页表:
early_top_pgt—— PGDlevel3_kernel_pgt—— PUDlevel2_kernel_pgt—— PMD
内核地址空间:内核应该在哪儿
此刻内核仍运行在解压器建立的简单身份映射页表上:虚拟地址直接映射到相同物理地址,物理内存前 4 GB 映射到虚拟内存前 4 GB。bootloader 可能把内核加载得较高,KASLR 也会影响其物理位置,但无论如何加载,地址都远低于内核应当映射到的特殊虚拟地址区域。
x86_64 的虚拟地址空间在 4 级页表下为 2^48 字节,被切成两个 2^47 字节的半区:
- 从
0x0开始的低半区属于用户空间进程; - 高半区是内核地址空间。
内核文本映射在 0xffffffff81000000 起始的地址——链接 vmlinux 时所有内核符号都被放置在这里,可用 readelf 验证:
readelf -S vmlinux | grep " \[ 1\] \.text"
[ 1] .text PROGBITS ffffffff81000000 00200000
x86_64 内核的完整虚拟内存布局可查阅内核文档(对应上游 Documentation/arch/x86/x86_64/mm.rst)。那张表初看令人望而生畏,但我们目前只需关心最底部描述内核代码映射区域的几项:
| Start addr | Offset | End addr | Size | Description |
|---|---|---|---|---|
| ffffffff80000000 | -2 GB | ffffffff9fffffff | 512 MB | kernel text mapping, mapped to physical address 0 |
| ffffffffa0000000 | -1536 MB | fffffffffeffffff | 1520 MB | module mapping space |
| FIXADDR_START | ~-11 MB | ffffffffff5fffff | ~0.5 MB | kernel-internal fixmap range, variable size and offset |
每个函数、每个全局变量都被链接到这些高地址运行。但内核当前页表只覆盖低内存区域,对这个区域一无所知——如果现在直接跳转到链接地址,CPU 会因为查无页表项而触发页错误。
这正是内核必须建立新页表的根本原因。重建前后页表结构对比可以直观地看出变化:切换前是解压器建立的简单身份映射,切换后新页表同时覆盖内核镜像与 fixmap 区域。
p2v_offset:物理地址与虚拟地址的桥梁
新页表在 __startup_64 函数(arch/x86/boot/startup/map_kernel.c)中建立。函数签名:
unsigned long __init __startup_64(unsigned long p2v_offset,
struct boot_params *bp)
第二个参数 bp 是 boot_params 结构指针(上一章已熟悉,保存 bootloader 与早期内核代码收集的信息)。第一个参数更有意思,它的值在 arch/x86/kernel/head_64.S 中于调用 __startup_64 之前计算:
leaq common_startup_64(%rip), %rdi
subq .Lcommon_startup_64(%rip), %rdi
两条指令算出所谓的 physical-to-virtual 偏移。由于内核被加载到 0x1000000 之类的低地址、却链接到 0xffffffff81000000 之类的高地址,每个引用都有两种解释:
- 运行时地址:代码实际运行所在的地址;
- 链接期地址:链接器构建内核时分配的地址。
例如 _text 符号被加载到 0x1000000,链接期地址却是 0xffffffff81000000。要安全地切换到内核地址空间,内核必须弄清两个地址空间的关系——这就是偏移量的含义。
第一条指令把 common_startup_64 的运行时地址放入 rdi,第二条指令减去同一符号的链接期地址,得到 runtime_address − linktime_address。看起来 0x1000000 - 0xffffffff81000000 是负数,但注意参数类型是 unsigned long,因此 p2v_offset 保存的是回绕后的值。
知道这个偏移后,内核即可在虚拟地址与物理地址之间互相转换:
physical = virtual + p2v_offsetvirtual = physical - p2v_offset
为什么这个"技巧"成立?偏移按如下方式计算:
offset = runtime_address - linktime_address
此刻内核使用身份映射页,运行时地址等于对应物理地址;而链接期分配的虚拟地址正是内核想映射到的地址。公式可改写为:
offset = physical_address - virtual_address
于是:
physical_address = virtual_address + offset
virtual_address = physical_address - offset
举例:common_startup_64 可能加载于 0x0000000001000dc0,链接期分配 0xffffffff81000dc0,则偏移为:
# Offset
>>> hex((0x0000000001000dc0 - 0xffffffff81000dc0) & 0xffffffffffffffff)
'0x80000000'
用该偏移在该符号的物理地址与虚拟地址间换算:
# Physical address
>>> hex((0xffffffff81000dc0 + 0x80000000) & 0xffffffffffffffff)
'0x1000dc0'
# Virtual address
>>> hex((0x0000000001000dc0 - 0x80000000) & 0xffffffffffffffff)
'0xffffffff81000dc0'
这正是 __startup_64 开头使用的技巧。__START_KERNEL_map 是内核文本映射的基址,加上 p2v_offset 即得对应物理地址:
phys_base = load_delta = __START_KERNEL_map + p2v_offset;
phys_base 与 load_delta 数值相同,但日后的用途不同:phys_base 用作内核文本映射的物理基址,load_delta 用于修正页表项。
同样的技巧给出内核镜像边界的虚拟地址。physaddr 是 _text 的运行时地址(此前经 rip_rel_ptr 取得):
va_text = physaddr - p2v_offset;
va_end = (unsigned long)rip_rel_ptr(_end) - p2v_offset;
建立三级页表:链接期条目的修正
理解 load_delta 后,就能看清页表的构建逻辑。页表项在链接期按虚拟地址算好,因此需要调整以反映内核实际加载的位置——核心操作就是把 load_delta 加到这些条目上。
新页表的根是 early_top_pgt,定义于 arch/x86/kernel/head_64.S:
SYM_DATA_START_PTI_ALIGNED(early_top_pgt)
.fill 511,8,0
.quad level3_kernel_pgt - __START_KERNEL_map + _PAGE_TABLE_NOENC
.fill PTI_USER_PGD_FILL,8,0
SYM_DATA_END(early_top_pgt)
SYM_PIC_ALIAS(early_top_pgt)
顶层页表前 511 个条目为空,只有最后一个指向 level3_kernel_pgt。乍看一个条目似乎不够,但这完全合理:每个 PGD 条目覆盖 512 GB 内存,而内核映射在虚拟地址空间最末的 2 GB,条目 511 正是覆盖该区域的项。其余条目暂时为空,稍后会在 __startup_64 中用切换 cr3 所需的身份映射页填满。先看顶层条目的修正:
pgd = rip_rel_ptr(early_top_pgt);
pgd[pgd_index(__START_KERNEL_map)] += load_delta;
第一行用 rip_rel_ptr 以 RIP 相对寻址取得顶层页表的物理地址;第二行查找覆盖 __START_KERNEL_map(即 0xffffffff80000000)的 PGD 条目——即条目 511——并把 load_delta 加进去修正存储的地址。
再看条目 511 的定义就明白了:
.quad level3_kernel_pgt - __START_KERNEL_map + _PAGE_TABLE_NOENC
level3_kernel_pgt 拥有链接期虚拟地址,减去 __START_KERNEL_map 去掉虚拟基址后剩下一个偏移——只有当 __START_KERNEL_map 映射到物理地址 0 时,这个偏移才是正确的物理地址。默认加载地址下确实如此,load_delta 为 0;但若 KASLR 或其他机制把内核放到别处,偏移就不再匹配真实物理地址,加上 load_delta 即可纠正。由于 load_delta 是 __START_KERNEL_map 与 physical-to-virtual 偏移之和,顶层页表第 511 项变为:
level3_kernel_pgt - __START_KERNEL_map + _PAGE_TABLE_NOENC + __START_KERNEL_map + p2v_offset
即:
level3_kernel_pgt + p2v_offset + _PAGE_TABLE_NOENC
这正是 level3_kernel_pgt 的物理地址加上标志位——页表项应当包含的内容。
下一级是 level3_kernel_pgt(arch/x86/kernel/head_64.S):
SYM_DATA_START_PAGE_ALIGNED(level3_kernel_pgt)
.fill L3_START_KERNEL,8,0
/* (2^48-(2*1024*1024*1024)-((2^39)*511))/(2^30) = 510 */
.quad level2_kernel_pgt - __START_KERNEL_map + _KERNPG_TABLE_NOENC
.quad level2_fixmap_pgt - __START_KERNEL_map + _PAGE_TABLE_NOENC
SYM_DATA_END(level3_kernel_pgt)
前 510 个条目为空,最后两个特殊:
- 条目
510—— 映射内核镜像本身; - 条目
511—— 映射 fixmap 区域,用于 APIC 等特殊固定映射。
两个条目都沿用 symbol - __START_KERNEL_map 的模式,因此需要同样的 load_delta 修正:
level3_kernel_pgt[PTRS_PER_PUD - 2].pud += load_delta;
level3_kernel_pgt[PTRS_PER_PUD - 1].pud += load_delta;
来到当前层级的最底层。这里内核只修正真正覆盖内核镜像的条目,并作废其余条目:
pmd = rip_rel_ptr(level2_kernel_pgt);
/* invalidate pages before the kernel image */
for (i = 0; i < pmd_index(va_text); i++)
pmd[i] &= ~_PAGE_PRESENT;
/* fixup pages that are part of the kernel image */
for (; i <= pmd_index(va_end); i++)
if (pmd[i] & _PAGE_PRESENT)
pmd[i] += load_delta;
/* invalidate pages after the kernel image */
for (; i < PTRS_PER_PMD; i++)
pmd[i] &= ~_PAGE_PRESENT;
三个循环依次:作废 va_text 之前的页(清 _PAGE_PRESENT 位)、对内核镜像范围内的页加 load_delta 修正、作废 va_end 之后的页。
内核镜像映射不是唯一需要修正的条目。如上面所见,早期页表还包含 fixmap 区域,相关条目同样要加 load_delta:
for (i = FIXMAP_PMD_TOP; i > FIXMAP_PMD_TOP - FIXMAP_PMD_NUM; i--)
level2_fixmap_pgt[i].pmd += load_delta;
临时身份映射:cr3 切换前的安全网
至此,内核高虚拟地址映射完成。但如果现在立刻切换到这些页表,执行立刻出错:内核仍在低地址执行,而刚建立的页表只含高虚拟地址。没有临时身份映射,更新 cr3 的瞬间就会触发页错误。
解决办法是同时把 CPU 当前运行的低物理地址范围也映射上——这就是临时身份映射页表。它保证切换那一刻,当前物理地址(执行所在地)与新高地址(内核应映射处)同时有效;一旦内核跳到高虚拟地址,这个身份映射就完成使命、可以丢弃。
构建临时身份映射用到 early_dynamic_pgts 数组(arch/x86/kernel/head_64.S):
SYM_DATA_START_PAGE_ALIGNED(early_dynamic_pgts)
.fill 512*EARLY_DYNAMIC_PAGE_TABLES,8,0
SYM_DATA_END(early_dynamic_pgts)
内核填充两个顶层页表条目,都指向 early_dynamic_pgts 数组中的同一 PUD 页:
i = (physaddr >> PGDIR_SHIFT) % PTRS_PER_PGD;
pgd[i + 0] = (pgdval_t)pud + pgtable_flags;
pgd[i + 1] = (pgdval_t)pud + pgtable_flags;
两个相邻条目填入同一指针:每个 PGD 条目覆盖 512 GB,若内核恰好加载在区域边界附近,两个条目都必须有效。PUD 层采用同样策略,底层用 2 MB 大页填满覆盖内核镜像物理范围的 PMD 条目:
i = physaddr >> PUD_SHIFT;
pud[(i + 0) % PTRS_PER_PUD] = (pudval_t)pmd + pgtable_flags;
pud[(i + 1) % PTRS_PER_PUD] = (pudval_t)pmd + pgtable_flags;
pmd_entry = __PAGE_KERNEL_LARGE_EXEC & ~_PAGE_GLOBAL;
pmd_entry += sme_get_me_mask();
pmd_entry += physaddr;
for (i = 0; i < DIV_ROUND_UP(va_end - va_text, PMD_SIZE); i++) {
int idx = i + (physaddr >> PMD_SHIFT);
pmd[idx % PTRS_PER_PMD] = pmd_entry + i * PMD_SIZE;
}
身份映射建好后,内核的页表同时映射了内核镜像的物理加载地址与链接期虚拟地址:身份映射让内核能安全地把 cr3 切换到 early_top_pgt 指向的新页表,然后从低身份映射地址跳入高内核虚拟地址空间继续初始化。这些仍是极简早期页表——只覆盖内核镜像与 fixmap 区域,完整页表的构建要等到很后面。
完成向内核地址空间的过渡
新内核页表就绪后,__startup_64 返回,来到 common_startup_64。内核把 early_top_pgt 的地址装入 cr3,激活新页表。写入发生的那一刻起,包括下一条指令取指在内的每次内存访问都走新页表——这正是身份映射必须存在的原因:没有它,下一条指令取指就会触发页错误异常。
CR4 技巧:冲刷残留的全局 TLB 条目
切换页表后,一些旧的 TLB 条目可能存活。根据 Intel 手册,重载 cr3 会冲刷大部分 TLB 条目,但全局条目幸存:
Global pages are not flushed from the translation-lookaside buffer (TLB) on a task switch or a write to register CR3.
-- Intel® 64 and IA-32 Architectures Software Developer's Manual, vol. 3A, section 2.5, "Control Registers"
因此内核还需一次额外 TLB 冲刷:清除 cr4 寄存器的 PGE(Page Global Enable)位会使所有全局 TLB 条目失效,置回该位则以新页表的全新条目重新启用全局翻译。但 cr4 还含有很多重要位,内核不能整个清零,而是先构造必须存活的位掩码:
PAE(Physical Address Extension)LA57(5 级页表)MCE(Machine-check exception)
movl $(X86_CR4_PAE | X86_CR4_LA57), %edx
#ifdef CONFIG_X86_MCE
/*
* Preserve CR4.MCE if the kernel will enable #MC support.
* Clearing MCE may fault in some environments (that also force #MC
* support). Any machine check that occurs before #MC support is fully
* configured will crash the system regardless of the CR4.MCE value set
* here.
*/
orl $X86_CR4_MCE, %edx
#endif
然后执行实际冲刷:读取 cr4,掩码保留上述位,加上 PSE(Page Size Extension)后写回。第一次写清除 PGE(冲刷掉 cr3 重载后幸存的全局 TLB 条目),第二次写重新置位 PGE(以全新 TLB 条目重新启用全局页):
movq %cr4, %rcx
andl %edx, %ecx
/* Even if ignored in long mode, set PSE uniformly on all logical CPUs. */
btsl $X86_CR4_PSE_BIT, %ecx
movq %rcx, %cr4
/*
* Set CR4.PGE to re-enable global translations.
*/
btsl $X86_CR4_PGE_BIT, %ecx
movq %rcx, %cr4
在高地址上重装栈、GDT 与 IDT
cr4 配置完毕、TLB 冲刷完成后,内核几乎可以告别汇编进入 C 代码,但还有个熟悉的模式:正如之前在身份映射页上装载过 GDT 与栈,现在内核运行在高虚拟地址上,必须再装一次。
- 栈指针更新为正式的内核栈:当前启动 CPU 上是 init task 的栈,次 CPU 上是当前 task 的 per-CPU 栈;
- GDT 再次装载:第一次用的是
gdt_page的身份映射地址,现在 GDTR 必须指向 GDT 的正确虚拟地址; - IDT 也因同样原因重载——但它目前是空的,暂且略过。
里程碑:call initial_code
全部就绪后,内核执行关键一跳:
callq *initial_code(%rip)
initial_code 定义如下:
SYM_DATA(initial_code, .quad x86_64_start_kernel)
经由 initial_code,内核调用 arch/x86/kernel/head64.c 中的 x86_64_start_kernel 函数。这是一个值得标记的里程碑:自内核开始执行以来,指令指针第一次持有一个链接器预期的地址。从此以后,每个函数调用、每个全局变量引用都解析为其编译后的虚拟地址——位置无关代码与手工地址修正的时代结束了。虽然距第一个用户进程运行还有漫漫长路,但这是初始化第一章的完美句点。
小结与后续
本部分梳理了内核初始化最初几步的完整脉络:
- 入口验证:
startup_64通过readelf/nm双重确认; - 执行环境:
boot_params指针存入r15、建立 init task 的 16384 字节栈、用wrmsr清零gs基址; - 内核 GDT:理解为何必须替换解压器的临时
gdt64、__pi_前缀与 RIP 相对寻址对启动代码的约束、startup_64_setup_gdt_idt的三步操作、lretq重载__KERNEL_CS; - 早期页表:x86_64 四级页表与 P4D 折叠、内核地址空间布局、
p2v_offset换算的数学推导、三级页表条目的load_delta修正、early_dynamic_pgts临时身份映射; - 地址空间切换:
cr3激活新页表、借助PGE位切换完成的 TLB 冲刷、高地址上重装栈/GDT/IDT、经由initial_code调用x86_64_start_kernel。
下一部分将继续深入这一过程,考察内核跳转到通用入口点 start_kernel 之前 x86_64 架构特定的初始化续篇。
延伸阅读
- 启动过程的完整回顾:Linux 内核启动过程(第六章,启动章节终章)、启动过程中的 GDT 装载(
gdt64) - per-CPU 数据与
gs寄存器的完整机制:Concepts/linux-cpu-1.md - 本文所述初始化流程对应的汇编与 C 实现路径(均为上游 Linux 源码,非本仓库文件):
arch/x86/kernel/head_64.S(startup_64、early_top_pgt、level3_kernel_pgt、level2_kernel_pgt、early_dynamic_pgts、initial_code)、arch/x86/boot/startup/gdt_idt.c(startup_64_setup_gdt_idt)、arch/x86/boot/startup/map_kernel.c(__startup_64)、arch/x86/kernel/cpu/common.c(per-CPUgdt_page)、arch/x86/kernel/vmlinux.lds.S(__top_init_kernel_stack) - 内核虚拟内存布局文档(对应上游
Documentation/arch/x86/x86_64/mm.rst)中引用的三个核心区域:内核文本映射(ffffffff80000000,512 MB)、模块映射空间(1520 MB)、内核内部 fixmap 区域