linux-insides 深度解析:Linux 内核初始化全过程——从内核解压到首个进程启动
linux-insides 深度解析:Linux 内核初始化全过程——从内核解压到首个进程启动
Linux 内核从被解压、被放置到最终内存位置,到运行起第一个用户态进程(PID 1),其间要经历一个漫长而精密的初始化链条。本篇文章以 linux-insides 仓库 Initialization 章节为主线,系统梳理这条链条的完整脉络:入口点准备、GDT 与页表重建、早期中断与异常处理、start_kernel 通用入口、架构特定初始化(setup_arch)、调度器与 RCU 初始化,直至第一个进程的诞生。读完本文,你将掌握 x86_64 内核启动后半程的每一处关键断点、核心数据结构与可验证的调试手段,形成一条从汇编到 C、从架构相关到架构无关的完整认知路径。
适用前提说明:本章节描述的是 x86_64 架构下的内核初始化主流程。文档明确声明,这里只覆盖"通用内核部分",中断处理、ACPI 等大量子系统的细节会在其他章节另行展开;同时仓库 README.md 注明该章节内容正面向现代内核(v6.18+)复审,个别代码行号与符号以仓库各篇文章中给出的内核源码版本为准。
章节地图:十步走完初始化全程
Initialization/README.md 是这一章的地图,它把整个初始化周期切成十个连续的阶段:
| 阶段 | 文档 | 核心主题 |
|---|---|---|
| 1 | First steps after kernel decompression | 内核入口点、栈、GDT、页表重建 |
| 2 | Early interrupt and exception handling | 早期 IDT 初始化与早期缺页处理 |
| 3 | Last preparations before the kernel entry point | 调用 start_kernel 前的最后准备 |
| 4 | Kernel entry point | 通用内核代码的第一步 |
| 5 | Continue of architecture-specific initializations | 架构特定初始化(early_trap_init 等) |
| 6 | Architecture-specific initializations, again... | 继续架构特定初始化(parse_early_param 等) |
| 7 | The End of the architecture-specific initializations, almost... | setup_arch 收尾(日志缓冲、initrd 迁移等) |
| 8 | Scheduler initialization | per-CPU 区域与调度器初始化 |
| 9 | RCU initialization | RCU 子系统初始化 |
| 10 | End of the initialization | 初始化收官与首个进程启动 |
阅读前提与准备:内核源码阅读需要一定的汇编语言与 C 语言基础;关于 x86_64 处理器的更多背景可参考仓库 X86 章节(Paging、Interrupt Descriptor Table)与 Toolchain 章节。此外,整章内容建立在此前 Booting 章节(尤其是 linux-bootstrap-6.md)描述的启动流程之上。
第一阶段:内核解压后的第一步——从 startup_64 到 C 代码
linux-initialization-1.md 承接启动章节的终点:解压器完成工作后,extract_kernel(位于 arch/x86/boot/compressed/misc.c)把内核入口点地址放入 rax 寄存器,执行流直接切换到内核代码:
call extract_kernel /* returns kernel entry point in %rax */
movq %r15, %rsi
jmp *%rax
确认入口点:readelf + nm 双重验证
x86_64 内核的入口是 startup_64(定义于 arch/x86/kernel/head_64.S)。如何确认它真的是入口?用 ELF 头与符号表双重校验:
readelf -h vmlinux | grep "Entry point address"
# Entry point address: 0x2e9f1b0
# 内核符号位于高虚拟地址,减去 text 映射基址得到物理地址后比对
printf "0x%x\n" $(( $(nm vmlinux | grep -w "startup_64" | cut -d' ' -f1 | sed 's/^/0x/') - 0xffffffff80000000 ))
# 0x2e9f1b0
两个地址一致,startup_64 即为真实入口。
三件必须立即做的事:保存 boot_params、建栈、清 gs
进入 startup_64 后,第一条指令把解压器在 rsi 中传入的 boot_params 指针保存到 r15——rsi 是调用者保存(caller-saved)寄存器,任何函数调用都可能覆盖它,而 boot_params 里装着 bootloader 收集的全部启动信息,后续初始化要反复使用:
mov %rsi, %r15
接下来是栈。没有栈就无法执行 push/pop/call。内核把 rsp 指向 __top_init_kernel_stack——这是 init task(日后成为 PID 0 的 idle 进程)的栈,大小 16384 字节,其顶部由链接脚本(arch/x86/kernel/vmlinux.lds.S)定义:
__top_init_kernel_stack = __end_init_stack - TOP_OF_KERNEL_STACK_PADDING - PTREGS_SIZE;
两次减法各有用意:TOP_OF_KERNEL_STACK_PADDING 预留给 Intel FRED 机制;PTREGS_SIZE 为中断处理时压入的寄存器帧预留空间。
第三步是清零 gs 基址。内核用 gs 访问 per-CPU 数据结构(参见 Per-CPU variables),但此刻它可能还残留早期代码留下的垃圾值。清零通过 MSR(model-specific register)写入完成:ecx 指定 MSR 编号(MSR_GS_BASE),edx:eax 提供 64 位值,这里两者皆零:
movl $MSR_GS_BASE, %ecx
xorl %eax, %eax
xorl %edx, %edx
wrmsr
为什么不用普通 mov 直接加载 gs?因为 IA-32e(long mode)下 CPU 用 MSR 而非 GDT 描述符管理 FS.base/GS.base——特权软件(CPL=0)通过 WRMSR 即可加载全部线性地址位。
重新加载内核 GDT:位置无关代码与 __pi_ 前缀
下一步是加载内核自己的 GDT。之前的 gdt64(Booting 中见过)只是解压阶段临时表,两个原因决定了它必须被替换:一是它位于解压器内存中,切换到内核页表后就不再映射;二是每个 CPU 需要自己的 GDT(GDT 条目必须指向 CPU 本地的 TSS,而 TSS 保存着用户态进内核、处理异常时使用的栈信息)。
call __pi_startup_64_setup_gdt_idt 这条指令有个有趣细节:直接 grep 内核源码找不到 __pi_ 前缀的定义——它是构建时用 objcopy --prefix-symbols=__pi_ 加上的(见 arch/x86/boot/startup/Makefile)。加前缀的目的是隔离早期启动代码:arch/x86/boot/startup/ 目录下的启动代码只能用 RIP 相对寻址,任何绝对地址引用都会指向未映射的高虚拟地址(此刻身份映射页表只覆盖低 4 GB),立刻触发内核尚未准备好处理的页错误。
startup_64_setup_gdt_idt(arch/x86/boot/startup/gdt_idt.c)做三件事:用 lgdt 加载新 GDT、用 __KERNEL_DS 重载数据段寄存器、加载早期 IDT(除非启用 AMD SEV 内存加密,否则为空)。注意它用 rip_rel_ptr 获取 gdt_page 的运行地址——这正是位置无关技术的现场演示:
void __init startup_64_setup_gdt_idt(void)
{
struct gdt_page *gp = rip_rel_ptr((void *)(__force unsigned long)&gdt_page);
void *handler = NULL;
struct desc_ptr startup_gdt_descr = {
.address = (unsigned long)gp->gdt,
.size = GDT_SIZE - 1,
};
/* Load GDT */
native_load_gdt(&startup_gdt_descr);
/* New GDT is live - reload data segment registers */
asm volatile("movl %%eax, %%ds\n"
"movl %%eax, %%ss\n"
"movl %%eax, %%es\n" : : "a"(__KERNEL_DS) : "memory");
if (IS_ENABLED(CONFIG_AMD_MEM_ENCRYPT))
handler = rip_rel_ptr(vc_no_ghcb);
startup_64_load_idt(handler);
}
gdt_page(定义于 arch/x86/kernel/cpu/common.c)包含 long mode 下内核所需的全部段:GDT_ENTRY_KERNEL_CS(内核代码段)、GDT_ENTRY_KERNEL_DS(内核数据段,主要用于栈访问)、GDT_ENTRY_KERNEL32_CS(32 位内核段,用于重启、四/五级页表切换、启动 secondary CPU 等场景)、GDT_ENTRY_DEFAULT_USER_CS/DS/USER32_CS(用户态代码/数据/32 位程序段)。64 位模式下段基址与限长虽被忽略,但 DPL 特权检查等字段依然生效,这正是必须加载它们的根本原因。
GDT 就位后,内核用 lretq 切换代码段——从栈顶弹出 rip 与 cs 两个值,继续执行 .Lon_kernel_cs:
pushq $__KERNEL_CS
leaq .Lon_kernel_cs(%rip), %rax
pushq %rax
lretq
重建内核页表:p2v_offset 与 load_delta 的魔法
GDT 之后的下一大步是页表,这是早期初始化中最关键的部分之一。核心目标有三个:把内核映射到高虚拟地址、建立临时身份映射保证切换 cr3 时不缺页、完成切换。
x86_64 页表层级速览:地址翻译经过 PGD → PUD → PMD → PTE 至多四级;现代内核还定义了第五级 P4D(位于 PGD 与 PUD 之间),5 级分页把虚拟地址空间从 2^48 扩展到 2^57 字节。大多数系统仍用 4 级分页(CPU 不支持或 no5lvl 内核参数关闭),此时用页表折叠技巧:p4d_t 被定义为 pgd_t 的包装(include/asm-generic/pgtable-nop4d.h),P4D 层折叠进 PGD。早期内核页表只用 PMD 一级的 2 MB 大页映射物理页。
内核虚拟地址空间:4 级分页下虚拟地址空间被分成两个 2^47 字节的半区,低半区属于用户态,高半区是内核空间。内核 text 从 0xffffffff81000000 开始映射,验证方式:
readelf -S vmlinux | grep " \[ 1\] \.text"
# [ 1] .text PROGBITS ffffffff81000000 00200000
__START_KERNEL_map(0xffffffff80000000)是内核 text 映射的基址,映射到物理地址 0(具体虚拟内存布局见内核 Documentation/arch/x86/x86_64/mm.rst,本仓库对应背景可参考 X86/linux-x86-1.md)。此刻解压器留下的身份映射页表只覆盖低内存,对高虚拟地址一无所知——这就是必须重建页表的原因。
下图是重建前后的页表结构对比:
p2v_offset 的计算:__startup_64(arch/x86/boot/startup/map_kernel.c)接收两个参数:p2v_offset 与 boot_params 指针。偏移量由 head_64.S 中两条指令算出:
leaq common_startup_64(%rip), %rdi
subq .Lcommon_startup_64(%rip), %rdi
第一条取 common_startup_64 的运行时地址(当前实际执行位置,身份映射下即物理地址),第二条减去其链接期地址(链接器分配的虚拟地址),得到 offset = physical - virtual。参数类型是 unsigned long,看似负数的结果会回绕成正确偏移。于是任意地址都可以双向换算:
physical = virtual + p2v_offset
virtual = physical - p2v_offset
数值示例(符号位于物理 0x1000dc0、链接虚拟 0xffffffff81000dc0 时,偏移为 0x80000000):
>>> hex((0xffffffff81000dc0 + 0x80000000) & 0xffffffffffffffff) # 得到物理地址
'0x1000dc0'
>>> hex((0x0000000001000dc0 - 0x80000000) & 0xffffffffffffffff) # 得到虚拟地址
'0xffffffff81000dc0'
__startup_64 开头用同一技巧:phys_base = load_delta = __START_KERNEL_map + p2v_offset。两者值相同但用途不同:phys_base 作为内核 text 映射的物理基址,load_delta 用于修正页表条目。
逐级修正页表条目:页表条目在链接期按虚拟地址算好,现在要加上 load_delta 反映内核实际加载位置。
- 顶层
early_top_pgt(arch/x86/kernel/head_64.S):前 511 个条目为空,只有最后一项指向level3_kernel_pgt。每个 PGD 条目覆盖 512 GB,内核映射在虚拟空间末尾 2 GB,恰好落在条目 511。修正方式:pgd[pgd_index(__START_KERNEL_map)] += load_delta;。原始定义level3_kernel_pgt - __START_KERNEL_map + _PAGE_TABLE_NOENC只在默认加载地址(映射到物理 0)时正确,KASLR 改变加载位置后必须用load_delta纠正。 - 第二层
level3_kernel_pgt:前 510 项为空,后两项分别映射内核镜像(510)与 fixmap 区域(511,用于 APIC 等特殊固定映射),同样加load_delta。 - 底层
level2_kernel_pgt:只修正覆盖内核镜像的条目,其余清除_PAGE_PRESENT位:
pmd = rip_rel_ptr(level2_kernel_pgt);
/* invalidate pages before the kernel image */
for (i = 0; i < pmd_index(va_text); i++)
pmd[i] &= ~_PAGE_PRESENT;
/* fixup pages that are part of the kernel image */
for (; i <= pmd_index(va_end); i++)
if (pmd[i] & _PAGE_PRESENT)
pmd[i] += load_delta;
/* invalidate pages after the kernel image */
for (; i < PTRS_PER_PMD; i++)
pmd[i] &= ~_PAGE_PRESENT;
fixmap 相关条目(level2_fixmap_pgt)也需同样修正。
临时身份映射:若此刻直接切换 cr3,CPU 正运行在低地址而新页表只映射高地址,下一条指令取指就触发页错误。因此内核用 early_dynamic_pgts 数组构造临时身份映射:两个相邻 PGD 条目指向同一 PUD 页(防止内核加载位置横跨 512 GB 区域边界),底层以 2 MB 大页覆盖内核镜像的物理范围:
pmd_entry = __PAGE_KERNEL_LARGE_EXEC & ~_PAGE_GLOBAL;
pmd_entry += sme_get_me_mask();
pmd_entry += physaddr;
for (i = 0; i < DIV_ROUND_UP(va_end - va_text, PMD_SIZE); i++) {
int idx = i + (physaddr >> PMD_SHIFT);
pmd[idx % PTRS_PER_PMD] = pmd_entry + i * PMD_SIZE;
}
(注意 ~_PAGE_GLOBAL:临时身份映射刻意不设 Global 位,便于后续用 cr3 重载将其从 TLB 中刷掉。)
切换 cr3 与 TLB 刷新
__startup_64 返回后,common_startup_64 把 cr3 指向 early_top_pgt,新页表即刻生效。此时旧 TLB 中可能残留全局条目(Intel 手册:写 CR3 不清全局页,除非 CR4.PCIDE 另有规定)。为彻底清除它们,内核先构造必须保留的 CR4 位掩码(PAE、LA57、MCE),再两次写 cr4:第一次清 PGE 使全局 TLB 条目全部失效,第二次重设 PGE 重新启用全局翻译:
movl $(X86_CR4_PAE | X86_CR4_LA57), %edx
#ifdef CONFIG_X86_MCE
orl $X86_CR4_MCE, %edx
#endif
movq %cr4, %rcx
andl %edx, %ecx
btsl $X86_CR4_PSE_BIT, %ecx
movq %rcx, %cr4
btsl $X86_CR4_PGE_BIT, %ecx
movq %rcx, %cr4
随后在高虚拟地址下重新加载栈、GDT(此时 GDTR 必须指向 GDT 的正确虚拟地址而非身份映射地址)与 IDT,最后通过 initial_code 间接跳转:
SYM_DATA(initial_code, .quad x86_64_start_kernel)
...
callq *initial_code(%rip)
这是自内核开始执行以来,指令指针第一次持有链接器意图中的地址——位置无关代码与手工地址修正的时代结束了,此后每个函数调用、每个全局变量引用都解析到编译期虚拟地址。
第二阶段:早期中断与异常处理——IDT 与缺页自救
linux-initialization-2.md 从 x86_64_start_kernel(arch/x86/kernel/head64.c)开始。此时可屏蔽硬件中断是关闭的,但 CPU 异常(如同步事件缺页)随时可能发生,内核必须有能力处理。
C 代码开头的编译期检查与 cr4 影子
C 代码第一步是一组 BUILD_BUG_ON 编译期断言,验证虚拟地址空间布局的合理性(如模块区域不与内核镜像重叠):
BUILD_BUG_ON(MODULES_VADDR < __START_KERNEL_map);
BUILD_BUG_ON(MODULES_VADDR - __START_KERNEL_map < KERNEL_IMAGE_SIZE);
BUILD_BUG_ON((__START_KERNEL_map & ~PMD_MASK) != 0);
...
接着是 cr4_init_shadow()。读写控制寄存器是串行化指令(MOV CR* 会强制 CPU 排空缓冲),代价高昂;内核因此把 cr4 的值保存在内存影子副本中,后续只用 cr4_set_bits/cr4_clear_bits 这类助手修改——先更新影子,仅当与存储值不同才真正写寄存器。
清理早期内存状态:身份映射、BSS、brk
四步清理让内存进入已知状态:
reset_early_page_tables:memset(early_top_pgt, 0, sizeof(pgd_t)*(PTRS_PER_PGD-1))抹掉前 511 个 PGD 条目(身份映射与临时映射),重置next_early_pgt索引,再write_cr3重载cr3。此后early_top_pgt只剩内核高映射,任何未映射访问都会触发缺页——这正是接下来缺页处理器存在的原因。早期页表条目结构可参考下图:
clear_bss:两个memset分别清零 BSS 段(需从零开始的全局/静态变量)与 brk 区域(正式分配器就绪前的早期原始分配器)。验证 BSS 符号范围:
nm -n vmlinux | awk '/ __bss_start$/,/ __bss_stop$/ { if (n++ < 11 || / __bss_stop$/) print }'
-
clear_page(init_top_pgt):清零最终顶层页表,必须先于kasan_early_init()——KASAN 会把早期影子内存映射装进这张表,必须给它一张干净的页。 -
__native_tlb_flush_global:全局 TLB 条目不会因cr3重载而失效,必须强制刷新(另一原因是 trampoline 页表——secondary CPU 引导早期使用的含全局身份映射的独立页表)。
中断理论:向量、门与 IDT 结构
中断/异常按来源分三类:软件中断(历史上常用于系统调用)、硬件中断(网卡收包等)、异常(除零等处理器生成事件)。每个事件有唯一的 0–255 向量号,前 32 个保留给 CPU 异常。文档给出了完整的异常向量表,以下为摘录(完整 32 项见 linux-initialization-2.md):
| 向量 | 助记符 | 描述 | 类型 | 错误码 |
|---|---|---|---|---|
| 0 | #DE | 除零错误 | Fault | 无 |
| 3 | #BP | 断点 | Trap | 无 |
| 6 | #UD | 非法操作码 | Fault | 无 |
| 8 | #DF | 双重错误 | Abort | 有 |
| 13 | #GP | 通用保护 | Fault | 有 |
| 14 | #PF | 页错误 | Fault | 有 |
| 18 | #MC | 机器检查 | Abort | 无 |
| 29 | #VC | VMM 通信异常(SEV-ES,AMD 特有) | Fault | 有 |
注意:向量 29 为厂商特有,Linux 用它表示 AMD SEV-ES 客机的
#VC;向量 32–255 留给外部中断、处理器间中断等操作系统自定义用途。
处理过程:CPU 用向量号 ×16(每个 IDT 条目 16 字节)索引 IDT,读取门描述符,决定用 IST 专用栈还是当前栈,压入中断帧(保存被中断状态),加载处理器代码段与偏移,跳转执行。返回用 iretq 弹出保存的状态。x86_64 门描述符结构如下:
关键字段语义:Offset 是处理器的 64 位虚拟地址;Segment Selector 必须指向 GDT 中合法代码段(Linux 中即 __KERNEL_CS);IST 指定专用栈索引(0 表示用当前栈,双重错误等关键处理器必须用专用栈);Type 区分中断门(进处理器清 IF,屏蔽后续硬件中断)与陷阱门(保持 IF 不变);DPL 决定软件指令(如 int n)调用门的最低特权级;P 为存在位。IDT 本身的基址与限长存在 IDTR 寄存器中,用 lidt 加载。
早期 IDT:32 个定长异常桩
idt_setup_early_handler(arch/x86/kernel/idt.c)为 0–31 号异常向量逐一调用 set_intr_gate 注册处理器,最后 load_idt。处理器数组 early_idt_handler_array(arch/x86/kernel/head_64.S)由宏生成:.rept 循环 32 次,对 CPU 不压错误码的异常压入一个哑元 0(统一栈布局),再压入向量号,跳到公共例程 early_idt_handler_common;桩末尾用 0xcc(INT3 操作码)填充到定长——若填充被意外执行,触发的是断点异常而非执行随机字节,这是一个精妙的安全设计。用 objdump -d vmlinux | grep '<early_idt_handler_array>:' -A 24 可以看到生成的 endbr64、push $0x0、push $0xvector、jmp early_idt_handler_common 指令序列。压入通用寄存器后的完整栈帧结构:
缺页自救:early_make_pgtable 按需建页表
公共例程调用 do_early_exception,它按向量号分流:缺页走 early_make_pgtable,SEV-ES 客机走 handle_vc_boot_ghcb,TDX 客机走 tdx_early_handle_ve,其余落入 early_fixup_exception(异常表路径,见下节):
void __init do_early_exception(struct pt_regs *regs, int trapnr)
{
if (trapnr == X86_TRAP_PF &&
early_make_pgtable(native_read_cr2()))
return;
if (IS_ENABLED(CONFIG_AMD_MEM_ENCRYPT) &&
trapnr == X86_TRAP_VC && handle_vc_boot_ghcb(regs))
return;
if (trapnr == X86_TRAP_VE && tdx_early_handle_ve(regs))
return;
early_fixup_exception(regs, trapnr);
}
缺页时 CPU 把故障地址存入 cr2 并压入错误码。early_make_pgtable 把故障虚拟地址减去直接映射基址得到物理地址:4 级分页布局下 __PAGE_OFFSET 为 0xffff888000000000(见内核 Documentation/arch/x86/x86_64/mm.rst,直接映射区起点,映射到物理 0):
static bool __init early_make_pgtable(unsigned long address)
{
unsigned long physaddr = address - __PAGE_OFFSET;
pmdval_t pmd;
pmd = (physaddr & PMD_MASK) + early_pmd_flags;
return __early_make_pgtable(address, pmd);
}
直接映射示意:
__early_make_pgtable 从顶层页表逐级向下走,缺哪级就从早期页表池(early_dynamic_pgts)分配一级,最终装入 PMD 条目。创建完成后恢复通用寄存器、返回故障指令重试,这次地址翻译就成功了。
异常表:面向指令地址的恢复机制
并非所有异常都能靠建页表解决。内核在构建期把"已知可能出错"的指令收集进异常表(__ex_table 段),每条记录是一个 struct exception_table_entry { int insn, fixup, data; }(arch/x86/include/asm/extable.h),由 _ASM_EXTABLE_TYPE(from, to, type) 系列宏生成(arch/x86/include/asm/asm.h)。经典案例是 __rdmsr:rdmsr 读不存在的 MSR 会触发 #GP,异常表条目让内核跳过故障指令继续执行:
asm volatile("1: rdmsr\n"
"2:\n"
_ASM_EXTABLE_TYPE(1b, 2b, EX_TYPE_RDMSR)
: EAX_EDX_RET(val, low, high) : "c" (msr));
当异常到达此路径时,内核用保存的 rip 在异常表中查 insn 匹配项,命中则按 data 编码的类型执行修复(如清 ax/dx 寄存器),跳转到 fixup 地址继续;查无匹配则打印 panic、转储寄存器并停机。
收尾:copy_bootdata 与跳向 start_kernel
早期 IDT 就绪后,x86_64_start_kernel 做最后几件事:copy_bootdata 把 bootloader 留在实模式数据区的 boot_params 与内核命令行拷贝进内核地址空间的自身结构(此过程还会触发一次缺页——boot 数据位于直接映射区,而 early_top_pgt 已被清空只剩内核高映射,缺页处理器会安静地按需补建映射);load_ucode_bsp 加载启动 CPU 微码(正是上面 rdmsr 异常表机制的用武之地);最后把早期顶层页表的末项拷入 init_top_pgt。至此架构相关早期代码谢幕,跳入架构无关的通用入口 start_kernel(init/main.c)。
第三阶段:进入 start_kernel 前的最后准备
linux-initialization-3.md 详解从 x86_64_start_kernel 到 start_kernel 之间的过渡。
copy_bootdata(__va(real_mode_data)):__va 宏定义为 ((void *)((unsigned long)(x)+PAGE_OFFSET)),其中 PAGE_OFFSET 即 0xffff880000000000,是物理内存直接映射的基址。copy_bootdata 用 memcpy 把 real_mode_data 拷入全局 struct boot_params boot_params(arch/x86/kernel/setup.c),随后 sanitize_boot_params 填充并清理未知字段,get_cmd_line_ptr 从 boot_params.hdr.cmd_line_ptr 与 ext_cmd_line_ptr 拼出 64 位命令行地址,再拷入 boot_command_line:
static void __init copy_bootdata(char *real_mode_data)
{
char * command_line;
unsigned long cmd_line_ptr;
memcpy(&boot_params, real_mode_data, sizeof boot_params);
sanitize_boot_params(&boot_params);
cmd_line_ptr = get_cmd_line_ptr();
if (cmd_line_ptr) {
command_line = __va(cmd_line_ptr);
memcpy(boot_command_line, command_line, COMMAND_LINE_SIZE);
}
}
clear_page(init_level4_pgt):初始化需要从早期页表过渡到初始化专用页表。init_level4_pgt(arch/x86/kernel/head_64.S)静态映射了前 2 GB(身份映射)与 512 MB 内核代码/数据/BSS 区域,clear_page(arch/x86/lib/clear_page_64.S)将其清零后,后续步骤会逐步填充。
第四阶段:start_kernel——通用内核入口点
linux-initialization-4.md 进入 start_kernel(init/main.c)。这是一个极庞大的函数(当前版本约含 86 个函数调用),它的终极目标是完成初始化并启动第一个 init 进程。在此之前它要做的事包括:启用锁校验器(lock validator)、初始化处理器 ID、启用早期 cgroups、搭建 per-CPU 区域、初始化 VFS 各种缓存、内存管理器、RCU、vmalloc、调度器、IRQ、ACPI 等等。
函数属性:__init、__cold、notrace、__visible
#define __init __section(.init.text) __cold notrace
__init 段只在初始化期间需要,完成后内核以 free_initmem 释放这些段。__cold 提示编译器该函数很少使用、按体积优化;notrace 展开为 __attribute__((no_instrument_function)),禁止生成性能分析调用。__visible 展开为 __attribute__((externally_visible)),防止编译器把外部可见的函数/变量标记为不可用。
任务栈金丝雀:set_task_stack_end_magic
start_kernel 开头定义 char *command_line 与 char *after_dashes(后者承载 parse_args 对 name=value 参数串的解析结果),然后调用 set_task_stack_end_magic(&init_task) 在初始任务栈尾写入 STACK_END_MAGIC(0x57AC6E9D)作为防溢出金丝雀。
init_task 是 struct task_struct init_task = INIT_TASK(init_task)——内核中描述进程的基座结构(include/linux/sched.h,当前超过 100 个字段),INIT_TASK 宏(include/linux/init_task.h)为第一个进程填充初值:进程状态为 0(可运行)、标志含 PF_KTHREAD(内核线程)、内核栈指向 init_thread_union。thread_union 是联合体:
union thread_union {
struct thread_info thread_info;
unsigned long stack[THREAD_SIZE/sizeof(long)];
};
x86_64 上每进程栈为 16 KB(4 个页帧),thread_info 位于栈底与之共享内存。thread_info 含 task、flags、cpu、saved_preempt_count、restart_block 等字段。自 v4.9-rc1 起,CONFIG_THREAD_INFO_IN_TASK(x86_64 默认开启,见 arch/x86/Kconfig 的 select THREAD_INFO_IN_TASK)把 thread_info 移入 task_struct,故 end_of_stack 直接返回 task->stack:
#ifdef CONFIG_THREAD_INFO_IN_TASK
static inline unsigned long *end_of_stack(const struct task_struct *task)
{
return task->stack;
}
#endif
金丝雀写入后,日后可用 if (*end_of_stack(task) != STACK_END_MAGIC) 检测栈溢出。
栈保护金丝雀与 CPU 位图激活
随后是一串调试/安全相关初始化:smp_setup_processor_id(x86_64 下为空实现,s390/arm64 才有内容)、debug_objects_early_init(填充对象调试哈希)、boot_init_stack_canary(CONFIG_CC_STACKPROTECTOR 开启时,用随机池 + TSC 生成金丝雀写入 task_struct->stack_canary 与 IRQ 栈顶)。然后 local_irq_disable 关闭本地中断(x86_64 下即 cli 指令),进入 boot_cpu_init。
boot_cpu_init 通过 smp_processor_id() 取得引导 CPU 的 id(此刻为 0)。该函数层层展开为 this_cpu_read(cpu_number) → percpu_from_op("mov", pcp) → asm("movl %%gs:%1,%0")——用 gs 段基址访问 per-CPU 变量(详见 Concepts/linux-cpu-1.md)。随后把引导 CPU 置入四种位图:
set_cpu_online(cpu, true);
set_cpu_active(cpu, true);
set_cpu_present(cpu, true);
set_cpu_possible(cpu, true);
这些操作基于 cpumask 位图(typedef struct cpumask { DECLARE_BITMAP(bits, NR_CPUS); } cpumask_t;):cpu_possible 表示系统生命周期内可能插入的 CPU、cpu_present 表示当前插入的 CPU、cpu_online 是 present 的子集且可参与调度(CONFIG_HOTPLUG_CPU 关闭时 possible == present、active == online)。to_cpumask 宏用三元运算符做编译期类型检查(__check_is_bitmap 恒返回 1,只为验证参数是 unsigned long *),最终 cpumask_set_cpu 调用 set_bit 置位。cpumask 的完整讲解见 Concepts/linux-cpu-2.md。
打印 Linux banner 与进入 setup_arch
pr_notice("%s", linux_banner) 打印内核版本横幅:
Linux version 4.0.0-rc6+ (alex@localhost) (gcc version 4.9.1 (Ubuntu 4.9.1-16ubuntu6) ) #319 SMP
之后是架构特定初始化 setup_arch(arch/x86/kernel/setup.c,仅一个参数:内核命令行地址)。第一步用 memblock 保留内核 text 到 BSS 的内存块(memblock 机制详见 MM/linux-mm-1.md):
memblock_reserve(__pa_symbol(_text), (unsigned long)__bss_stop - (unsigned long)_text);
__pa_symbol 展开为 (unsigned long)(x) - __START_KERNEL_map + phys_base——从符号的虚拟地址减去内核 text 映射基址、加上物理基址,得到符号的物理地址。
随后 early_reserve_initrd 为 initrd(内存中的临时根文件系统)保留空间:从 boot_params 读取 ramdisk_image(与 ext_ramdisk_image 高 32 位拼接成 64 位地址)、ramdisk_size、对齐后的 ramdisk_end,校验 bootloader 确实提供了 initrd 后 memblock_reserve(ramdisk_image, ramdisk_end - ramdisk_image)。
第五阶段:setup_arch 的纵深——架构特定初始化
setup_arch 极其庞大,linux-initialization-5.md、linux-initialization-6.md、linux-initialization-7.md 三篇连载其内容。
early_trap_init:部署 #DB 与 #BP 门
early_trap_init(arch/x86/kernel/traps.c)为调试异常(#DB,TF 标志置位时触发)与断点(#BP,INT3 指令触发)安装处理器,并重载 IDT:
void __init early_trap_init(void)
{
set_intr_gate_ist(X86_TRAP_DB, &debug, DEBUG_STACK);
set_system_intr_gate_ist(X86_TRAP_BP, &int3, DEBUG_STACK);
load_idt(&idt_descr);
}
set_intr_gate_ist/set_system_intr_gate_ist 与普通 set_intr_gate 的区别在于第三个参数——IST(Interrupt Stack Table)索引。IST 是 x86_64 新机制,属于 TSS 的一部分:每个 CPU 除了每线程 16 KB 内核栈,还配有若干专用栈(如 NMI、双重错误),IST 允许在事件发生时切换到专用栈,每个 CPU 最多 7 个 IST 条目,此处用的是 DEBUG_STACK。
parse_early_param:早期命令行参数机制
parse_early_param(init/main.c)解析内核命令行并依参数配置服务。与启动早期 cmdline_find_option(arch/x86/boot/cmdline.c)的手工扫描不同,通用内核阶段用的是声明式注册:
early_param("gbpages", parse_direct_gbpages_on);
early_param(str, fn) 展开为 __setup_param(str, fn, fn, 1),后者定义 __setup_str_* 字符串常量与 __setup_* 结构体(类型 struct obs_kernel_param,含参数名、回调、early 标志),并通过 __section(.init.setup) 放进专用段。parse_early_param 遍历该段,对每个条目比对命令行并调用回调。内核的完整命令行参数清单见 Documentation/admin-guide/kernel-parameters.rst。
setup_log_buf 与 reserve_initrd
linux-initialization-7.md 从 setup_log_buf(kernel/printk/printk.c)开始。环形日志缓冲长度取决于 CONFIG_LOG_BUF_SHIFT(取值 12–21,即 4 KB–2 MB),内部定义:
#define __LOG_BUF_LEN (1 << CONFIG_LOG_BUF_SHIFT)
static char __log_buf[__LOG_BUF_LEN] __aligned(LOG_ALIGN);
static char *log_buf = __log_buf;
setup_log_buf(1) 以 early 模式调用:缓冲必须为空且是早期设置,否则按 CPU 数量扩容(log_buf_add_cpu),随后可能用 memblock_virt_alloc 分配新缓冲。
reserve_initrd 与第四部分的 early_reserve_initrd 不同:直接内存映射已由 init_mem_mapping 重建,这里要把 initrd 移入直接映射内存。先取 mapped_size = memblock_mem_size(max_pfn_mapped),若 ramdisk_size >= (mapped_size>>1) 则 panic("initrd too large to handle, ..."),再在直接映射区内为 initrd 分配空间并迁移。
第六阶段:调度器与 RCU 初始化
调度器之前的准备
linux-initialization-8.md 承接 setup_nr_cpu_ids,主线是调度器初始化,前置两步:
setup_per_cpu_areas:为 per-CPU 变量搭建内存区域(机制详见 Per-CPU variables);smp_prepare_boot_cpu:SMP 准备。它只是smp_ops.smp_prepare_boot_cpu()回调的转发(arch/x86/include/asm/smp.h),而smp_ops(arch/x86/kernel/smp.c)把该回调绑定到native_smp_prepare_boot_cpu:
struct smp_ops smp_ops = {
...
smp_prepare_boot_cpu = native_smp_prepare_boot_cpu,
...
}
EXPORT_SYMBOL_GPL(smp_ops);
native_smp_prepare_boot_cpu 通过 smp_processor_id() 取本 CPU id,为引导 CPU 完成早期 per-CPU 准备。其后 sched_init 正式初始化调度器。
RCU 初始化与抢占控制
linux-initialization-9.md 的入口是 sched_init 之后的 preempt_disable。抢占(preemption)即内核抢占当前任务去运行更高优先级任务的能力;早期引导阶段只有一个 init 进程,在调用 cpu_idle 之前不应被打断,故先关抢占:
#define preempt_disable() \
do { \
preempt_count_inc(); \
barrier(); \
} while (0)
CONFIG_PREEMPT_COUNT 开启时,preempt_count_inc 递增 per-CPU 变量 __preempt_count(DECLARE_PER_CPU(int, __preempt_count)),它记录持有的锁数量;关闭时 preempt_disable 仅退化为 barrier()。preempt_count() API 可读取该值。随后进入 RCU 初始化:rcu_init 启动只读复制更新(Read-Copy-Update)机制,为后续内核同步打基础。
第七阶段:初始化收官——从 espfix 到第一个进程
linux-initialization-10.md 是本章收官。acpi_early_init 之后:
init_espfix_bsp(CONFIG_X86_ESPFIX64,arch/x86/kernel/espfix_64.c):防止从 64 位内核返回到 16 位栈时泄露 esp 寄存器的 31:16 位。实现上把 espfix 页上级目录装入内核页目录:
pgd_p = &init_level4_pgt[pgd_index(ESPFIX_BASE_ADDR)];
pgd_populate(&init_mm, pgd_p, (pud_t *)espfix_pud_page);
ESPFIX_BASE_ADDR 为 ESPFIX_PGD_ENTRY << PGDIR_SHIFT(ESPFIX_PGD_ENTRY 为 -2),落在内核文档 Documentation/x86/x86_64/mm.txt 中 ffffff0000000000 - ffffff7fffffffff (=39 bits) %esp fixup stacks 区域。随后 init_espfix_random 为 espfix 页取随机位置、init_espfix_ap 为当前 CPU 启用 espfix。
thread_info_cache_init(kernel/fork.c):当 THREAD_SIZE 小于 PAGE_SIZE 时为 thread_info 分配缓存。
此后 start_kernel 收尾各子系统初始化,调用 rest_init 创建第一个内核线程(kernel_init,日后成为 PID 1 的 init 进程),引导 CPU 最终进入 cpu_idle 成为 idle 进程(PID 0)。至此,从内核解压到第一个进程运行的完整周期闭合。
结语与阅读路线
Linux 内核初始化是一条横跨汇编与 C、架构相关与架构无关代码的漫长链路。本文沿 Initialization/README.md 的十篇连载走完全程:startup_64 的栈/GDT/页表重建与 p2v_offset 机制、早期 IDT 与缺页按需建表自救、copy_bootdata 与 init_top_pgt 的准备、start_kernel 的金丝雀与 CPU 位图激活、setup_arch 的内存保留与命令行解析、调度器与 RCU 初始化,直至 espfix 与首个进程。
继续深入的建议路线:
- 阅读本仓库 Initialization 下的十篇原文,逐篇对照内核源码(
arch/x86/kernel/head_64.S、arch/x86/boot/startup/map_kernel.c、arch/x86/kernel/head64.c、arch/x86/kernel/setup.c、init/main.c等); - 前置基础:先读 Booting 章节了解解压前的旅程;
- 横向关联:per-CPU 机制见 Concepts/linux-cpu-1.md、cpumask 见 Concepts/linux-cpu-2.md、memblock 见 MM/linux-mm-1.md、分页与 IDT 理论见 X86 章节;
- 全章节目录可参考仓库 SUMMARY.md,贡献方式见 CONTRIBUTING.md。
提示:仓库 README.md 的章节状态表显示 Initialization 章节正等待 v6.18.0 复审,各篇文章中的具体内核版本与代码片段以原文标注为准;文档亦声明本章不覆盖中断处理、ACPI 等子系统,这些内容将在后续章节展开。