Parameter Golf 实战:GPTQ-lite 逐行 Clip 搜索 + EMA 权重平均,在 16MB 限制下把 11 层 LM 压到 val_bpb 1.1233

原创2026-10-14 13:02:391,619 阅读

Parameter Golf 实战:GPTQ-lite 逐行 Clip 搜索 + EMA 权重平均,在 16MB 限制下把 11 层 LM 压到 val_bpb 1.1233

本篇技术指南以 parameter-golf 仓库 10 分钟 16MB 赛道中的一条真实记录(records/track_10min_16mb/2026-03-22_11L_EMA_GPTQ-lite_warmdown3500_QAT015_1.1233/)为骨架,系统拆解其在 PR #374 架构栈之上叠加的 GPTQ-lite 逐行 Clip 百分位搜索、EMA 权重平均、Warmdown 3500 与 Late QAT 阈值 0.15 四项优化,并结合 train_gpt.py 源码给出可复现的配置与实现细节。读完本文,你将掌握:如何在 600 秒 / 8×H100 的训练预算内,通过"零训练成本"的后训练量化调优与更平滑的权重平均策略,把 16MB 工件内语言模型的压缩质量(bits per byte)进一步压低。

背景:16MB 工件的极限语言模型挑战

OpenAI Model Craft Challenge: Parameter Golf(仓库 README)的核心命题是:训练一个能装进 16MB 工件、在 8×H100 上 10 分钟内完成训练的语言模型,并用 FineWeb 验证集上的压缩指标(tokenizer-agnostic 的 bits per byte,BPB)排名。16MB 是十进制上限(16,000,000 字节),工件大小 = 代码字节 + 压缩后的模型字节;训练与验证各有独立的 10 分钟上限。

这意味着参赛者必须在"架构创新""压缩方案""训练策略"三个维度同时发力。本文记录正是 2026-03-22 提交的一条阶段性记录:在已有 PR #374 架构之上,通过后训练量化调优与权重平均两项几乎不消耗训练预算的改动,将 3-seed 平均 val_bpb 从 1.1246 降到 1.1233(提交工件约 15.55 MB)。

本文所有结论均以该记录目录下的 README.md、submission.json 与 train_gpt.py 为据。

对 PR #374 的四大改进:一张表看清增量

该记录文档明确给出了与基线 PR #374 的逐项对比,这是理解本次收益来源的起点:

改动 PR #374 本次记录 收益
GPTQ-lite 固定 Clip(行最大值) 每行尝试 5 个 Clip 百分位,选最小 MSE -0.0006 BPB(零训练成本)
EMA 无(仅 Tight SWA) 每步维护 EMA,decay=0.997 -0.0006 BPB(更平滑的权重平均)
Warmdown 3000 3500 -0.0002 BPB
Late QAT 阈值 0.1 0.15 -0.0001 BPB(更早启用 fake quant,缩小量化差距)
合计 1.1246 1.1233 -0.0013 BPB

值得注意的是:前两项合计贡献了 -0.0012 BPB,占全部增益的 92%,且 GPTQ-lite 属于纯后训练步骤、EMA 只在训练主循环里多维护一份权重副本,两者对训练时长的侵蚀几乎可以忽略——这正是"极限预算下优先优化边际成本"的典型思路。

GPTQ-lite:逐层最优 Clip 百分位搜索

动机:int6 量化的 scale 从哪来

对权重矩阵做整数量化时,需要把浮点范围映射到 int6 的 [-32, 31](该实现取 clip_range=31)。常规做法是取每行绝对值的最大值(row max)作为 Clip 上界,但这极易被个别离群值拉高 scale,从而压低有效位宽、放大重建误差。

做法:5 候选百分位 + 最小 MSE 选择

GPTQ-lite 的核心(对应源码 train_gpt.py 中的 quantize_int6_per_row):

  • 对每一行权重,依次尝试 5 个 Clip 百分位:0.9990、0.9995、0.9999、0.99999、1.0;
  • 用 torch.quantile(t32.abs(), pct, dim=1) 求出该百分位下的行级 Clip 上界(pct=1.0 时退化为 amax);
  • 对每个候选计算 scale = row_clip / 31,量化并反量化后求重建 MSE:err = (t32 - recon).pow(2).mean();
  • 选择 MSE 最小的 (q, scale) 组合作为该行的最终表示。

代码中 best_q, best_s, best_err = None, None, float('inf') 的循环结构逐候选比较,最终返回最优结果。这一过程发生在训练结束后的 mixed_quantize_int6 导出阶段(train_gpt.py),不参与反向传播,因此零训练成本;由于 torch.quantile 是确定性算子,整个搜索过程可复现(记录文档的 Reproducibility 一节也明确声明"GPTQ-lite clip search is deterministic")。

效果

在固定 Clip 基线之上再砍掉 -0.0006 BPB。相比完整 GPTQ(Hessian 校准),这种"轻量版"只做逐行最优截断,实现约 10 行代码即可完成,却拿到了可观收益——对 16MB 赛道而言,"量化误差每 0.001 BPB 都要争取"是常态。

EMA 权重平均:与 Tight SWA 互补的连续平滑

动机

训练末期使用权重平均能显著降低损失面噪声。Tight SWA(下文详述)只在 LR scale < 0.2 后每隔 50 步采集离散快照求均值,天然存在"快照窗口粒度"问题;EMA 则每步连续更新,两者语义互补。

实现细节

  • 初始化:训练主循环开始前,用 base_model.state_dict() 的 float 副本初始化 EMA 状态(train_gpt.py);
  • 每步更新:每个训练 step 结束后执行 ema_state<a href="https://link.gitcode.com/i/5d0091c0179cbffcf0da1939ea3fbfac" target="_blank">name].mul_(0.997).add_(t.detach().float(), alpha=0.003)([train_gpt.py),decay=0.997,意味着大约 1 / (1-0.997) ≈ 333 步的等效窗口;
  • 应用时机:训练结束后(无论是否被 wallclock 截断),将 EMA 权重转回原 dtype 并 load_state_dict 覆盖模型,随后再做量化与验证(train_gpt.py)。记录文档还提到"better than SWA alone per PR#401",源码日志中也打印了 ema:applying EMA weights。

EMA 与 Tight SWA 的配合逻辑:SWA 捕获 warmdown 期间稀疏的离散检查点,EMA 提供全程连续平滑;最终加载的是 EMA 权重,SWA 结果仅作为冗余手段参与验证对比。

Warmdown 3500:基于 wallclock 的退火拉长

Hyperparameters.warmdown_iters 默认值在源码中即为 3500(train_gpt.py),PR #374 基线为 3000。本次将其拉长,让 LR 更平缓地降到 0,给训练末期留出更充裕的"收敛 + 权重平均"窗口,带来 -0.0002 BPB。

需要特别说明的是:该记录采用wallclock 基准退火而非步数基准。核心在 lr_mul 函数(train_gpt.py):

  • 先根据已用墙钟时间估算每步耗时 step_ms = elapsed_ms / step;
  • 算出 warmdown_ms = warmdown_iters * step_ms,与 remaining_ms = max_wallclock_ms - elapsed_ms 比较;
  • 当剩余时间进入 warmdown 窗口后,scale = remaining_ms / warmdown_ms 线性退火到 0。

这套机制保证无论 GPU 负载如何波动,模型总能在 600 秒截止前恰好完成退火,配合 stop_after_step 的 wallclock 截断逻辑(train_gpt.py),是该赛道"卡秒训练"的关键基础设施。

Late QAT 阈值 0.15:更早的 STE 假量化

动机

Late QAT(延迟量化感知训练)的思路是:训练前期保持全精度,等 LR 退火到一定阈值后再开启 int6 假量化(fake quant),让模型在量化噪声下"适应"最后一段训练,从而缩小量化前后验证指标的差距。本次把触发阈值从 0.1 提高到 0.15,即更早进入假量化阶段,量化与全精度之间的 gap 更小,带来 -0.0001 BPB。

源码实现

训练期假量化与后训练 GPTQ-lite 的 Clip 策略不同(前者用 row max 固定截断、后者做百分位搜索),但两者共享同一 int6 格式(clip_range=31),保证了"QAT 适应的量化形态"与"导出量化形态"的一致性。

架构继承:PR #374 的 11 层堆栈

所有上述优化都构建在 PR #374 的架构之上。记录文档完整列出,这里结合 train_gpt.py 逐一给出源码位置佐证:

架构要素 配置 源码佐证
模型规模 11 层 Transformer,512 维,8 头(4 KV 头,GQA) GPT.__init__(L626 起),超参数默认 num_layers=11/num_heads=8/num_kv_heads=4/model_dim=512
MLP 3× 扩张(1536 隐藏),relu-squared 激活 MLP.forward:relu(fc(x)).square()(L578-L587)
U-Net 跳跃连接 5 encoder / 6 decoder 层,逐层 skip_weight num_encoder_layers = num_layers // 2、skip_weights 参数与残差路由(L664-L667)
Efficient Partial XSA 最后 4 层启用(GQA-aware,零分配) xsa_last_n=4,CausalSelfAttention._xsa_efficient(L502-L503)
Partial RoPE 16/64 维旋转 + NTK-aware 缩放 rope_dims=16;apply_rotary_emb 只对前 rope_dims 维旋转(L464-L473);Rotary 对超长序列按 base * (scale ** (rd/(rd-2))) 换基(L432-L462)
LN Scale Factor 1/√(layer_idx+1) ln_scale_factor 在 Block.__init__ 中计算(L609)
Shared Value Embedding dim=128,作用于第 9、10 层,带逐层学习 scale ValueEmbedding(L562-L577),ve_layers="9,10"
SmearGate + BigramHash BigramHash 2048 桶,dim=128 SmearGate(L532-L539)与 BigramHashEmbedding(L540-L561)
输出 Tied embeddings,logit softcap=30.0 tie_embeddings=1,logit_softcap=30.0(L53、L51)

其中 resid_mix 参数实现了残差流的可学习混合(L608),attn_scale/mlp_scale 提供了逐层输出缩放——这些"控制张量"在量化阶段会以 fp32 单独保留(见下文)。

训练配置全解析:超参数与优化器分工

记录文档的训练清单在源码中都能找到默认值(Hyperparameters 类),逐项展开如下:

优化器三路分工

  • Muon(作用于矩阵参数):lr=0.025,momentum=0.99(从 0.92 起 1500 步线性 warmup 到 0.99),WD=0.04。Muon 的核心是 Newton-Schulz 正交化:zeropower_via_newtonschulz5 用 5 步迭代把梯度近似投影到正交方向(L87-L98),并在分布式下做整批 all-reduce(L99-L151);
  • AdamW(嵌入层):lr=0.035;
  • AdamW(标量/控制参数):lr=0.025,WD=0.04。控制张量(attn_scale、skip_weights 等)单独归入 scalar 优化组(L1073-L1074)。

其余关键超参数

配置项 值 说明
梯度裁剪 0.3 GRAD_CLIP_NORM,每步 clip_grad_norm_(L1246-L1247)
批大小 786,432 tokens/step TRAIN_BATCH_TOKENS,seq_len=2048
Warmdown 3500 迭代(wallclock 基准) WARMDOWN_ITERS
EMA decay=0.997,每步 见上文
Tight SWA scale < 0.2 后每 50 步采一次 swa_every=50(L73),触发逻辑见 L1257-L1265
Late QAT LR scale < 0.15 时开启 int6 STE 假量化 LATE_QAT_THRESHOLD
初始化 OrthoInit + muP-scaled 输出投影 MLP/Attention 输出投影 _zero_init=True(L584、L498)
硬件/内核 FlashAttention 3(Hopper 优化) flash_attn_3_func 导入(L26)

所有超参数都通过环境变量注入(如 MUON_MOMENTUM、WARMDOWN_ITERS、LATE_QAT_THRESHOLD),这使复现与调参完全无需改动代码。

量化与压缩方案:int6 + int8 + zstd-22 的三层压榨

训练结束后,导出流程(L1313-L1326)按记录文档的量化清单执行:

  • int6 per-row:MLP 与 Attention 的权重矩阵,用 GPTQ-lite 做逐行最优 Clip 百分位搜索(mixed_quantize_int6(sd_cpu, {"mlp", "attn"}));
  • int8 per-row:嵌入层等其余大张量,使用 quantize_float_tensor(2D 张量按行、INT8_CLIP_PERCENTILE=99.99984 百分位截断,L272-L287);
  • 控制张量 fp32 保留:CONTROL_TENSOR_NAME_PATTERNS 命中的张量(attn_scale、mlp_scale、resid_mix、q_gain、skip_weight、smear、ve_layer_scales 等,L242-L249)不量化;小张量(numel ≤ 65536)走 fp16 passthrough;
  • zstd level 22 压缩:最终工件以 zstd 最高压缩级打包成 final_model.int6.ptz;无 zstd 环境时自动回退 zlib.compress(..., 9)(L14-L18、L1318)。

量化完成后脚本会反量化回读并重新验证:先 dequantize_mixed_int6 重建状态字典,加载进模型后依次做全量验证、滑动窗口验证(stride 默认 64,EVAL_STRIDE),输出 final_int6_roundtrip 与 final_int6_sliding_window_s64 两条精确日志(L1335-L1398),确保"量化后工件指标"才是最终提交分数。

实验结果:3-seed 均方差仅 0.0005

记录文档的实验表完整如下(8×H100 SXM,600 秒,滑动窗口评估 stride=64):

Seed Steps val_loss Sliding BPB (s64) 工件大小
1337 7101 1.8958 1.1228 15.56 MB
42 ~7100 1.8972 1.1236 15.54 MB
2024 ~7100 1.8971 1.1236 15.59 MB

均值 1.1233,标准差 0.0005;提交工件为 seed 1337(最优)。submission.json 中记录的提交指标为 val_loss 1.8958、val_bpb 1.1228、bytes_total 15,555,017(≈15.55 MB),低于 16MB 十进制上限。三个 seed 在 ~7100 步处均被 wallclock 截断,印证了"步数由墙钟决定"的机制。

运行与复现指南

记录文档给出的运行命令为:

SEED=1337 bash eval/eval.sh

其训练、EMA、QAT、量化、验证的完整逻辑均封装在 train_gpt.py 中。复现时可参考仓库根 README.md 的数据准备流程(如 python3 data/cached_challenge_fineweb.py --variant sp1024 下载缓存 FineWeb 数据集与 tokenizer),并通过环境变量复现本记录的默认配置,例如:

SEED=1337 \
MAX_WALLCLOCK_SECONDS=600.0 \
WARMDOWN_ITERS=3500 \
LATE_QAT_THRESHOLD=0.15 \
SWA_EVERY=50 \
MUON_MOMENTUM=0.99 \
MUON_WD=0.04 \
ADAM_WD=0.04 \
torchrun --standalone --nproc_per_node=8 train_gpt.py

需要说明:train_gpt.py 默认 MAX_WALLCLOCK_SECONDS=600.0、WARMDOWN_ITERS=3500、LATE_QAT_THRESHOLD=0.15 与本记录完全一致(L38-L43、L83),也就是说直接运行默认配置即可复现本记录的核心设置;eval/eval.sh 属于提交环境侧的评估入口,不在本 records 目录内。

可复现性结论(源自记录文档):三个 seed 均产出合法且小于 16MB 的工件,val_bpb 标准差仅 0.0005;GPTQ-lite 的 Clip 搜索是确定性过程,EMA 更新为无随机性的线性递推,因此同一 seed 下量化路径完全可复现。

小结:极限预算下的三个方法论启示

  1. 优先做"零训练成本"的改进:GPTQ-lite 的 -0.0006 BPB 完全来自后训练阶段的 Clip 调优,不动训练循环,这是性价比最高的第一顺位;
  2. 权重平均双轨制:EMA(连续、每步)与 Tight SWA(离散、warmdown 期)互补,覆盖不同时间尺度上的损失面噪声;
  3. 让超参数对齐"墙钟赛制":wallclock 基准的 warmdown 与截断机制,使 3500 步退火窗口在不同负载下都能被完整执行,Late QAT 阈值提前到 0.15 则让模型在量化噪声中完成最后的适应。

对想要在 16MB / 10 分钟约束下继续压低 BPB 的参与者,这份记录与其 train_gpt.py 是一个可直接改动、逐行验证的起点:GPTQ-lite 的百分位候选集、EMA 的 decay、warmdown 长度、QAT 阈值,都是成本极低的"旋钮",值得优先扫描。

登录后查看全文
parameter-golf