Parameter Golf 实战:GPTQ-lite 逐行 Clip 搜索 + EMA 权重平均,在 16MB 限制下把 11 层 LM 压到 val_bpb 1.1233
Parameter Golf 实战:GPTQ-lite 逐行 Clip 搜索 + EMA 权重平均,在 16MB 限制下把 11 层 LM 压到 val_bpb 1.1233
本篇技术指南以 parameter-golf 仓库 10 分钟 16MB 赛道中的一条真实记录(records/track_10min_16mb/2026-03-22_11L_EMA_GPTQ-lite_warmdown3500_QAT015_1.1233/)为骨架,系统拆解其在 PR #374 架构栈之上叠加的 GPTQ-lite 逐行 Clip 百分位搜索、EMA 权重平均、Warmdown 3500 与 Late QAT 阈值 0.15 四项优化,并结合 train_gpt.py 源码给出可复现的配置与实现细节。读完本文,你将掌握:如何在 600 秒 / 8×H100 的训练预算内,通过"零训练成本"的后训练量化调优与更平滑的权重平均策略,把 16MB 工件内语言模型的压缩质量(bits per byte)进一步压低。
背景:16MB 工件的极限语言模型挑战
OpenAI Model Craft Challenge: Parameter Golf(仓库 README)的核心命题是:训练一个能装进 16MB 工件、在 8×H100 上 10 分钟内完成训练的语言模型,并用 FineWeb 验证集上的压缩指标(tokenizer-agnostic 的 bits per byte,BPB)排名。16MB 是十进制上限(16,000,000 字节),工件大小 = 代码字节 + 压缩后的模型字节;训练与验证各有独立的 10 分钟上限。
这意味着参赛者必须在"架构创新""压缩方案""训练策略"三个维度同时发力。本文记录正是 2026-03-22 提交的一条阶段性记录:在已有 PR #374 架构之上,通过后训练量化调优与权重平均两项几乎不消耗训练预算的改动,将 3-seed 平均 val_bpb 从 1.1246 降到 1.1233(提交工件约 15.55 MB)。
本文所有结论均以该记录目录下的 README.md、submission.json 与 train_gpt.py 为据。
对 PR #374 的四大改进:一张表看清增量
该记录文档明确给出了与基线 PR #374 的逐项对比,这是理解本次收益来源的起点:
| 改动 | PR #374 | 本次记录 | 收益 |
|---|---|---|---|
| GPTQ-lite | 固定 Clip(行最大值) | 每行尝试 5 个 Clip 百分位,选最小 MSE | -0.0006 BPB(零训练成本) |
| EMA | 无(仅 Tight SWA) | 每步维护 EMA,decay=0.997 | -0.0006 BPB(更平滑的权重平均) |
| Warmdown | 3000 | 3500 | -0.0002 BPB |
| Late QAT 阈值 | 0.1 | 0.15 | -0.0001 BPB(更早启用 fake quant,缩小量化差距) |
| 合计 | 1.1246 | 1.1233 | -0.0013 BPB |
值得注意的是:前两项合计贡献了 -0.0012 BPB,占全部增益的 92%,且 GPTQ-lite 属于纯后训练步骤、EMA 只在训练主循环里多维护一份权重副本,两者对训练时长的侵蚀几乎可以忽略——这正是"极限预算下优先优化边际成本"的典型思路。
GPTQ-lite:逐层最优 Clip 百分位搜索
动机:int6 量化的 scale 从哪来
对权重矩阵做整数量化时,需要把浮点范围映射到 int6 的 [-32, 31](该实现取 clip_range=31)。常规做法是取每行绝对值的最大值(row max)作为 Clip 上界,但这极易被个别离群值拉高 scale,从而压低有效位宽、放大重建误差。
做法:5 候选百分位 + 最小 MSE 选择
GPTQ-lite 的核心(对应源码 train_gpt.py 中的 quantize_int6_per_row):
- 对每一行权重,依次尝试 5 个 Clip 百分位:
0.9990、0.9995、0.9999、0.99999、1.0; - 用
torch.quantile(t32.abs(), pct, dim=1)求出该百分位下的行级 Clip 上界(pct=1.0时退化为amax); - 对每个候选计算 scale = row_clip / 31,量化并反量化后求重建 MSE:
err = (t32 - recon).pow(2).mean(); - 选择 MSE 最小的 (q, scale) 组合作为该行的最终表示。
代码中 best_q, best_s, best_err = None, None, float('inf') 的循环结构逐候选比较,最终返回最优结果。这一过程发生在训练结束后的 mixed_quantize_int6 导出阶段(train_gpt.py),不参与反向传播,因此零训练成本;由于 torch.quantile 是确定性算子,整个搜索过程可复现(记录文档的 Reproducibility 一节也明确声明"GPTQ-lite clip search is deterministic")。
效果
在固定 Clip 基线之上再砍掉 -0.0006 BPB。相比完整 GPTQ(Hessian 校准),这种"轻量版"只做逐行最优截断,实现约 10 行代码即可完成,却拿到了可观收益——对 16MB 赛道而言,"量化误差每 0.001 BPB 都要争取"是常态。
EMA 权重平均:与 Tight SWA 互补的连续平滑
动机
训练末期使用权重平均能显著降低损失面噪声。Tight SWA(下文详述)只在 LR scale < 0.2 后每隔 50 步采集离散快照求均值,天然存在"快照窗口粒度"问题;EMA 则每步连续更新,两者语义互补。
实现细节
- 初始化:训练主循环开始前,用
base_model.state_dict()的 float 副本初始化 EMA 状态(train_gpt.py); - 每步更新:每个训练 step 结束后执行
ema_state<a href="https://link.gitcode.com/i/5d0091c0179cbffcf0da1939ea3fbfac" target="_blank">name].mul_(0.997).add_(t.detach().float(), alpha=0.003)([train_gpt.py),decay=0.997,意味着大约 1 / (1-0.997) ≈ 333 步的等效窗口; - 应用时机:训练结束后(无论是否被 wallclock 截断),将 EMA 权重转回原 dtype 并
load_state_dict覆盖模型,随后再做量化与验证(train_gpt.py)。记录文档还提到"better than SWA alone per PR#401",源码日志中也打印了ema:applying EMA weights。
EMA 与 Tight SWA 的配合逻辑:SWA 捕获 warmdown 期间稀疏的离散检查点,EMA 提供全程连续平滑;最终加载的是 EMA 权重,SWA 结果仅作为冗余手段参与验证对比。
Warmdown 3500:基于 wallclock 的退火拉长
Hyperparameters.warmdown_iters 默认值在源码中即为 3500(train_gpt.py),PR #374 基线为 3000。本次将其拉长,让 LR 更平缓地降到 0,给训练末期留出更充裕的"收敛 + 权重平均"窗口,带来 -0.0002 BPB。
需要特别说明的是:该记录采用wallclock 基准退火而非步数基准。核心在 lr_mul 函数(train_gpt.py):
- 先根据已用墙钟时间估算每步耗时
step_ms = elapsed_ms / step; - 算出
warmdown_ms = warmdown_iters * step_ms,与remaining_ms = max_wallclock_ms - elapsed_ms比较; - 当剩余时间进入 warmdown 窗口后,
scale = remaining_ms / warmdown_ms线性退火到 0。
这套机制保证无论 GPU 负载如何波动,模型总能在 600 秒截止前恰好完成退火,配合 stop_after_step 的 wallclock 截断逻辑(train_gpt.py),是该赛道"卡秒训练"的关键基础设施。
Late QAT 阈值 0.15:更早的 STE 假量化
动机
Late QAT(延迟量化感知训练)的思路是:训练前期保持全精度,等 LR 退火到一定阈值后再开启 int6 假量化(fake quant),让模型在量化噪声下"适应"最后一段训练,从而缩小量化前后验证指标的差距。本次把触发阈值从 0.1 提高到 0.15,即更早进入假量化阶段,量化与全精度之间的 gap 更小,带来 -0.0001 BPB。
源码实现
- 阈值参数:
late_qat_threshold = float(os.environ.get("LATE_QAT_THRESHOLD", 0.15))(train_gpt.py); - 触发逻辑:主循环中当
scale < late_qat_threshold且尚未开启时,置CastedLinear._qat_enabled = True并打印日志late_qat:enabled ...(train_gpt.py); - STE 前向:
CastedLinear.forward在训练模式且启用 QAT 时,对 2D 权重按行 max 计算 int6 scale(row_max / 31.0),量化到 -32, 31] 再反量化,通过w = w + (w_q - w).detach()实现直通梯度([train_gpt.py)。
训练期假量化与后训练 GPTQ-lite 的 Clip 策略不同(前者用 row max 固定截断、后者做百分位搜索),但两者共享同一 int6 格式(clip_range=31),保证了"QAT 适应的量化形态"与"导出量化形态"的一致性。
架构继承:PR #374 的 11 层堆栈
所有上述优化都构建在 PR #374 的架构之上。记录文档完整列出,这里结合 train_gpt.py 逐一给出源码位置佐证:
| 架构要素 | 配置 | 源码佐证 |
|---|---|---|
| 模型规模 | 11 层 Transformer,512 维,8 头(4 KV 头,GQA) | GPT.__init__(L626 起),超参数默认 num_layers=11/num_heads=8/num_kv_heads=4/model_dim=512 |
| MLP | 3× 扩张(1536 隐藏),relu-squared 激活 | MLP.forward:relu(fc(x)).square()(L578-L587) |
| U-Net 跳跃连接 | 5 encoder / 6 decoder 层,逐层 skip_weight | num_encoder_layers = num_layers // 2、skip_weights 参数与残差路由(L664-L667) |
| Efficient Partial XSA | 最后 4 层启用(GQA-aware,零分配) | xsa_last_n=4,CausalSelfAttention._xsa_efficient(L502-L503) |
| Partial RoPE | 16/64 维旋转 + NTK-aware 缩放 | rope_dims=16;apply_rotary_emb 只对前 rope_dims 维旋转(L464-L473);Rotary 对超长序列按 base * (scale ** (rd/(rd-2))) 换基(L432-L462) |
| LN Scale Factor | 1/√(layer_idx+1) | ln_scale_factor 在 Block.__init__ 中计算(L609) |
| Shared Value Embedding | dim=128,作用于第 9、10 层,带逐层学习 scale | ValueEmbedding(L562-L577),ve_layers="9,10" |
| SmearGate + BigramHash | BigramHash 2048 桶,dim=128 | SmearGate(L532-L539)与 BigramHashEmbedding(L540-L561) |
| 输出 | Tied embeddings,logit softcap=30.0 | tie_embeddings=1,logit_softcap=30.0(L53、L51) |
其中 resid_mix 参数实现了残差流的可学习混合(L608),attn_scale/mlp_scale 提供了逐层输出缩放——这些"控制张量"在量化阶段会以 fp32 单独保留(见下文)。
训练配置全解析:超参数与优化器分工
记录文档的训练清单在源码中都能找到默认值(Hyperparameters 类),逐项展开如下:
优化器三路分工
- Muon(作用于矩阵参数):lr=0.025,momentum=0.99(从 0.92 起 1500 步线性 warmup 到 0.99),WD=0.04。Muon 的核心是 Newton-Schulz 正交化:
zeropower_via_newtonschulz5用 5 步迭代把梯度近似投影到正交方向(L87-L98),并在分布式下做整批 all-reduce(L99-L151); - AdamW(嵌入层):lr=0.035;
- AdamW(标量/控制参数):lr=0.025,WD=0.04。控制张量(
attn_scale、skip_weights等)单独归入 scalar 优化组(L1073-L1074)。
其余关键超参数
| 配置项 | 值 | 说明 |
|---|---|---|
| 梯度裁剪 | 0.3 | GRAD_CLIP_NORM,每步 clip_grad_norm_(L1246-L1247) |
| 批大小 | 786,432 tokens/step | TRAIN_BATCH_TOKENS,seq_len=2048 |
| Warmdown | 3500 迭代(wallclock 基准) | WARMDOWN_ITERS |
| EMA | decay=0.997,每步 | 见上文 |
| Tight SWA | scale < 0.2 后每 50 步采一次 | swa_every=50(L73),触发逻辑见 L1257-L1265 |
| Late QAT | LR scale < 0.15 时开启 int6 STE 假量化 | LATE_QAT_THRESHOLD |
| 初始化 | OrthoInit + muP-scaled 输出投影 | MLP/Attention 输出投影 _zero_init=True(L584、L498) |
| 硬件/内核 | FlashAttention 3(Hopper 优化) | flash_attn_3_func 导入(L26) |
所有超参数都通过环境变量注入(如 MUON_MOMENTUM、WARMDOWN_ITERS、LATE_QAT_THRESHOLD),这使复现与调参完全无需改动代码。
量化与压缩方案:int6 + int8 + zstd-22 的三层压榨
训练结束后,导出流程(L1313-L1326)按记录文档的量化清单执行:
- int6 per-row:MLP 与 Attention 的权重矩阵,用 GPTQ-lite 做逐行最优 Clip 百分位搜索(
mixed_quantize_int6(sd_cpu, {"mlp", "attn"})); - int8 per-row:嵌入层等其余大张量,使用
quantize_float_tensor(2D 张量按行、INT8_CLIP_PERCENTILE=99.99984百分位截断,L272-L287); - 控制张量 fp32 保留:
CONTROL_TENSOR_NAME_PATTERNS命中的张量(attn_scale、mlp_scale、resid_mix、q_gain、skip_weight、smear、ve_layer_scales等,L242-L249)不量化;小张量(numel ≤ 65536)走 fp16 passthrough; - zstd level 22 压缩:最终工件以
zstd最高压缩级打包成final_model.int6.ptz;无 zstd 环境时自动回退zlib.compress(..., 9)(L14-L18、L1318)。
量化完成后脚本会反量化回读并重新验证:先 dequantize_mixed_int6 重建状态字典,加载进模型后依次做全量验证、滑动窗口验证(stride 默认 64,EVAL_STRIDE),输出 final_int6_roundtrip 与 final_int6_sliding_window_s64 两条精确日志(L1335-L1398),确保"量化后工件指标"才是最终提交分数。
实验结果:3-seed 均方差仅 0.0005
记录文档的实验表完整如下(8×H100 SXM,600 秒,滑动窗口评估 stride=64):
| Seed | Steps | val_loss | Sliding BPB (s64) | 工件大小 |
|---|---|---|---|---|
| 1337 | 7101 | 1.8958 | 1.1228 | 15.56 MB |
| 42 | ~7100 | 1.8972 | 1.1236 | 15.54 MB |
| 2024 | ~7100 | 1.8971 | 1.1236 | 15.59 MB |
均值 1.1233,标准差 0.0005;提交工件为 seed 1337(最优)。submission.json 中记录的提交指标为 val_loss 1.8958、val_bpb 1.1228、bytes_total 15,555,017(≈15.55 MB),低于 16MB 十进制上限。三个 seed 在 ~7100 步处均被 wallclock 截断,印证了"步数由墙钟决定"的机制。
运行与复现指南
记录文档给出的运行命令为:
SEED=1337 bash eval/eval.sh
其训练、EMA、QAT、量化、验证的完整逻辑均封装在 train_gpt.py 中。复现时可参考仓库根 README.md 的数据准备流程(如 python3 data/cached_challenge_fineweb.py --variant sp1024 下载缓存 FineWeb 数据集与 tokenizer),并通过环境变量复现本记录的默认配置,例如:
SEED=1337 \
MAX_WALLCLOCK_SECONDS=600.0 \
WARMDOWN_ITERS=3500 \
LATE_QAT_THRESHOLD=0.15 \
SWA_EVERY=50 \
MUON_MOMENTUM=0.99 \
MUON_WD=0.04 \
ADAM_WD=0.04 \
torchrun --standalone --nproc_per_node=8 train_gpt.py
需要说明:train_gpt.py 默认 MAX_WALLCLOCK_SECONDS=600.0、WARMDOWN_ITERS=3500、LATE_QAT_THRESHOLD=0.15 与本记录完全一致(L38-L43、L83),也就是说直接运行默认配置即可复现本记录的核心设置;eval/eval.sh 属于提交环境侧的评估入口,不在本 records 目录内。
可复现性结论(源自记录文档):三个 seed 均产出合法且小于 16MB 的工件,val_bpb 标准差仅 0.0005;GPTQ-lite 的 Clip 搜索是确定性过程,EMA 更新为无随机性的线性递推,因此同一 seed 下量化路径完全可复现。
小结:极限预算下的三个方法论启示
- 优先做"零训练成本"的改进:GPTQ-lite 的 -0.0006 BPB 完全来自后训练阶段的 Clip 调优,不动训练循环,这是性价比最高的第一顺位;
- 权重平均双轨制:EMA(连续、每步)与 Tight SWA(离散、warmdown 期)互补,覆盖不同时间尺度上的损失面噪声;
- 让超参数对齐"墙钟赛制":wallclock 基准的 warmdown 与截断机制,使 3500 步退火窗口在不同负载下都能被完整执行,Late QAT 阈值提前到 0.15 则让模型在量化噪声中完成最后的适应。
对想要在 16MB / 10 分钟约束下继续压低 BPB 的参与者,这份记录与其 train_gpt.py 是一个可直接改动、逐行验证的起点:GPTQ-lite 的百分位候选集、EMA 的 decay、warmdown 长度、QAT 阈值,都是成本极低的"旋钮",值得优先扫描。