parameter-golf 记录解读:SP4096 + Depth Recurrence + Parallel Residuals + MuonEq-R,以 15.99MB 工件达成 val_bpb 1.0897
parameter-golf 记录解读:SP4096 + Depth Recurrence + Parallel Residuals + MuonEq-R,以 15.99MB 工件达成 val_bpb 1.0897
本文基于 OpenAI Model Craft Challenge: Parameter Golf 开源仓库中的记录文档 2026-04-04_SP4096_DepthRecurrence_ParallelResid_MuonEqR/README.md 及其配套的 submission.json 与训练脚本展开。该记录是 parameter-golf「10 分钟 / 16MB」赛道(Track A)在 2026-04-04 提交的 SOTA 级运行:在 8×H100 SXM 上训练约 10 分钟,把全部模型权重与约 24KB 代码压缩进 15,999,533 字节以内,在 FineWeb 验证集上以标准自回归滑动窗口评估拿到 1.0897 BPB(bits-per-byte,3-seed 均值)。读完本文,你将掌握这条记录从架构选型(SP4096 词表、深度循环、并行残差、QK-Gain)、优化器(MuonEq-R)到后训练量化压缩(全 int6 GPTQ + Brotli/LZMA 包装)的完整技术栈,并能按文档给出的命令在仓库中复现它。
一、记录总览:成绩、赛道与基线对比
该记录属于挑战赛的 track_10min_16mb 赛道(Track A),约束为:模型工件(代码字节 + 压缩后的权重字节)必须小于 16,000,000 字节(十进制),训练须在 8×H100 SXM 上 10 分钟内完成,且使用固定预测器评估——即训练完成后权重完全冻结,评估阶段不允许任何形式的测试时自适应。仓库主 README.md 的排行榜将该记录列为「SP4096 + Depth Recurrence + Parallel Residuals + MuonEq-R | 1.0897 | aryanbhosale | On PR #1334」。
记录文档给出的三种子结果如下(环境:8×H100 80GB SXM,PyTorch 2.9.1+cu128):
| Seed | Sliding BPB | Artifact(字节) |
|---|---|---|
| 42 | 1.0894 | 15,999,533 |
| 314 | 1.0898 | 15,992,752 |
| 999 | 1.0899 | 15,988,473 |
| Mean | 1.0897 | — |
对应的 submission.json 记录了更精确的数字:val_bpb = 1.08971631,val_bpb_std = 0.00028794,种子为 [42, 314, 999],三个工件的字节数分别为 15,999,533 / 15,992,752 / 15,988,473,全部低于 16MB 上限。它对比的基线是当时的合并 SOTA PR #1019(1.1147 BPB),本次改进 delta 为 -0.0250 BPB,从 1.1147 降到 1.0897,是当时一条显著的质量跃迁。
值得注意,该记录后续被同仓库的 2026-04-05_SP8192_GPTQ-Embeddings_SDClip_Loop45x2(1.08563)等记录继续超越,因此阅读本文时请把它当作一条「在 SP4096 词表尺度下把六项技术组合压榨到极限」的技术里程碑,而非最终 SOTA。
二、六大关键技术拆解
记录文档将本次提交的技术要点归纳为六项,其中每一项都能在仓库中找到对应的演进脉络与源码佐证:
1. 4096 词表(SP4096)+ MLP 4x + Weight Decay 0.090
SP4096(SentencePiece BPE,4096 词表)源自 @clarkkev 的 PR #1218。其思路在该系列的源头记录 2026-04-01_Vocab4096_MLPMult4_WD085/README.md 中有明确说明:把词表从 1024 提升到 4096,让模型在相同序列长度下看到更多上下文、每步吃到更多训练数据;同时用更大的模型(MLP 倍率从 3 提升到 4)配合更强的正则——muon 权重衰减从 0.04 提到 0.085 并新增 embedding 权重衰减。其核心洞察是:权重矩阵的可压缩性与矩阵 RMS 强相关(R² 接近 0.99),提高权重衰减可以缩小权重幅度、提升压缩率,从而在 16MB 预算内腾出空间放更多参数。
到了本记录(以及其直接前身 2026-04-03_MuonEqR_DepthRecurrence_WD090_AllInt6/README.md),权重衰减进一步从 0.085 上调到 0.090。前身记录专门讨论了「WD-量化协同」现象:WD=0.090 相比 0.085 让权重在 brotli-11 下多压缩约 5%,多出的约 280KB 工件余量使得全部 66 层权重都能保持在 int6 精度(此前只能保持 60~61 层),量化精度的收益完全覆盖了更高权重衰减带来的困惑度代价。
2. Depth Recurrence(深度循环,layers 4,5)
深度循环来自 @msisovic 的 PR #1204 与 @dexhunter 的 PR #1260,核心思想是把中间层 4、5 重复执行,用共享权重把 11 个物理层变成 13 个虚拟层,零额外参数。在仓库根脚本 train_gpt.py 中,Block 的 forward 接受 (x, x0) 并配合 U-Net 风格的 skip 连接;而循环层则是通过在训练中把同一组 Block 按顺序再执行一遍实现的。
本记录采用的参数是 RECUR_LAYERS=4,5 且 RECUR_START_STEP=3000——即前 3000 步先按廉价的不循环结构训练,之后才激活循环。这一「延迟激活」策略在 2026-03-31_ParallelResiduals_MiniDepthRecurrence/README.md 中有详尽的消融记录:重复单层有收益、重复相邻两层收益更大、重复三层反而被每步耗时拖累;重复位置的最佳点在 layers 4,5(U-Net 铰链点附近);always-on 循环约 1.1163 BPB,而延迟到 step 3000 才激活可改进到约 1.1153。前身记录估计该技术在当时的基线上带来约 0.003~0.004 nats 的收益。
3. Parallel Residuals(并行残差,从 layer 7 起)
并行残差同样源自 PR #1204(@msisovic)并经过 @MatoTeziTanka 的 PR #1289 完善:从第 7 层开始,attention 与 MLP 从不同的残差通路读取,且每个子层学习如何同时写回两条通路。
根脚本 train_gpt.py 中 Block 为此定义了可学习的合并系数:
self.resid_mix = nn.Parameter(torch.stack((torch.ones(dim), torch.zeros(dim))).float())
def forward(self, x: Tensor, x0: Tensor) -> Tensor:
mix = self.resid_mix.to(dtype=x.dtype)
x = mix[0][None, None, :] * x + mix[1][None, None, :] * x0
attn_out = self.attn(self.attn_norm(x))
x = x + self.attn_scale.to(dtype=x.dtype)[None, None, :] * attn_out
x = x + self.mlp_scale.to(dtype=x.dtype)[None, None, :] * self.mlp(self.mlp_norm(x))
return x
本记录通过 PARALLEL_START_LAYER=7 指定从第 7 层起启用该机制。前身记录还给出了一个有意思的观测:学习到的路由是高度不对称的——MLP 几乎不向 attention 的残差流写回(如虚拟第 10 层 mlp_to_attn 仅 0.0557),而 attention 与 MLP 各自的主通路系数通常在 1.3~2.1 之间。该系列也验证过「MLP 完全不写 attention 通路」的加速变体,但在本仓库上带来轻微回退,因此保留了完整的两通路配方。
4. MuonEq-R:行归一化的 Muon 优化器
MuonEq-R(row-normalized Muon)由 @dexhunter 在 PR #1260 引入,是 Muon 优化器的变体:在 Newton-Schulz 正交化之前先对梯度矩阵做行归一化,零字节开销,前身记录测得约 0.001 BPB 的稳定收益。
仓库根脚本 train_gpt.py 给出了标准 Muon 的实现骨架:对矩阵形状的梯度先做动量累积(可选 nesterov),再用 zeropower_via_newtonschulz5(5 步 Newton-Schulz 迭代,系数 a=3.4445, b=-4.7750, c=2.0315)逼近正交化,并按 max(1, rows/cols)^0.5 做尺度修正;分布式场景下先把各 rank 的更新摊平 all_reduce 求和再应用。MuonEq-R 即在进入该流程前先对梯度矩阵按行做归一化,再执行 NS5 正交化。其参数(学习率、动量、backend_steps、动量预热)均可通过环境变量配置。
5. QK-Gain 5.0
QK-Gain 来自 @bigbag 的 PR #1217,指对 attention 的 query 施加一个每头可学习的缩放系数。根脚本 train_gpt.py 的 CausalSelfAttention 中可见:
self.q_gain = nn.Parameter(torch.full((num_heads,), qk_gain_init, dtype=torch.float32))
...
q = F.rms_norm(q, (q.size(-1),))
k = F.rms_norm(k, (k.size(-1),))
...
q = q * self.q_gain.to(dtype=q.dtype)[None, :, None, None]
本记录把 QK_GAIN_INIT 定为 5.0。这条演进线在仓库中有清晰轨迹:SP4096 源记录(PR #1218)从 1.5 提升到 4.0(见 2026-04-01_Vocab4096_MLPMult4_WD085/README.md),而 2026-04-06_SP8192_QK5_LegalTTT_1.0828/README.md 进一步证明把 4.0 提到 5.0 在相同架构上带来 3-seed 均值约 0.0028 BPB 的提升。
6. 全 int6 GPTQ + Brotli + LZMA 压缩包装(约 24KB 代码)
这是把模型塞进 16MB 的最后一公里。与前面记录的差异在于:本记录在 WD=0.090 带来的压缩余量支持下,对全部 66 层权重矩阵执行 Hessian 感知的 GPTQ int6 量化(clip_range=31),不再有层被降级到 int5。量化后经 byte shuffle + brotli 压缩权重;而训练脚本本身被 LZMA + base85 包装成约 24KB 的自解压程序——目标目录里的 train_gpt.py 正是这种形态(首行 import lzma as L, base64 as B; exec(L.decompress(...))),这也是工件「代码字节 + 权重字节」计入 16MB 上限的方式。
关于量化与压缩的交互原理,2026-04-05_SP8192_GPTQ-Embeddings_SDClip_Loop45x2/README.md 给出了完整的熵分析:压缩后大小近似正比于量化权重的熵 (其中 为 clip 范围),因此降低位宽 b 与加大 clip 范围 k 对压缩率的作用相反——本系列正是利用这一关系,用更宽的 clip(更高的权重衰减)换取全部层维持在 int6。根脚本 train_gpt.py 中 CONTROL_TENSOR_NAME_PATTERNS(attn_scale / mlp_scale / resid_mix / q_gain / skip_weight 等)则说明:这些小型控制张量与标量通过 pass-through 保留为 fp16/fp32,不参与 int 量化。
三、合规性:为何这是一次「纯净」的训练时改进
该记录属于 Track A(Fixed Predictor),评估阶段权重完全冻结。文档逐条对照了挑战的合规条件:
- 无 TTT:评估期间没有任何权重更新;
- 无 SLOT:没有评估时的 delta 优化;
- 无 n-gram 缓存:评估时不累积统计量;
- 无任何评估时自适应:训练完成后模型权重完全冻结;
- GPTQ 校准数据来自训练数据,且在校准发生在训练时间预算内;
- 标准自回归滑动窗口评估(stride=64);
- 条件 1(因果性):标准因果注意力,不访问未来 token;
- 条件 2(完整分布):对完整 4096 词表做标准 softmax;
- 条件 3(先评分后更新):评估期间无更新;
- 条件 4(单次遍历):单次滑动窗口遍历,不重打分。
也就是说,本次 0.025 BPB 的领先完全来自训练时的架构与优化器改动,评估程序就是仓库标准的滑动窗口。这一点让该记录成为后续「合法 TTT」路线(如 2026-04-08_SP8192_ParallelResid_ScoreFirstTTT)的对照基线——后者在同系列架构上加入先评分后更新的 score-first TTT 又继续把分数推进到 1.0822。
四、复现步骤
文档给出了完整的复现命令链(8×H100 环境):
# 1) 安装 brotli(工件压缩路径依赖)
pip install brotli
# 2) 下载 SP4096 变体的 FineWeb 缓存(固定验证集 + 训练分片)
MATCHED_FINEWEB_REPO_ID=kevclark/parameter-golf \
python3 data/cached_challenge_fineweb.py --variant sp4096 --skip-manifest
# 3) 启动 8 卡训练(关键开关:SEED / RECUR_LAYERS / RECUR_START_STEP / PARALLEL_START_LAYER)
SEED=42 RECUR_LAYERS=4,5 RECUR_START_STEP=3000 PARALLEL_START_LAYER=7 \
torchrun --standalone --nproc_per_node=8 train_gpt.py
各环境变量的含义与配套取值可对照前身与同系列记录:
| 环境变量 | 本记录取值 | 作用 |
|---|---|---|
SEED |
42 / 314 / 999 | 三种子独立运行,取均值上报 |
RECUR_LAYERS |
4,5 | 指定循环的物理层(U-Net 铰链点附近最佳) |
RECUR_START_STEP |
3000 | 延迟激活循环,先用廉价结构训练 |
PARALLEL_START_LAYER |
7 | 从第 7 层起启用双通路并行残差 |
MUON_WD / EMBED_WD |
0.090(前身记录取值) | 高权重衰减换取压缩余量 |
数据侧说明:data/cached_challenge_fineweb.py 是仓库的数据下载入口,按变体(--variant sp4096)拉取与 baseline 对齐的冻结混洗分片;--skip-manifest 跳过本地 manifest 缓存,避免陈旧清单不包含 sp4096 变体(该提示来自 2026-04-01_Vocab4096_MLPMult4_WD085/README.md)。如需从零重建 sp4096 分词器与数据集,仓库 data/README.md 与 data/download_hf_docs_and_tokenize.py 提供了 manifest 驱动的下载与重标记化流程。
五、从该记录能学到什么
把这条记录放进仓库的演进时间线(PR #1019 1.1147 → PR #1218 1.0979 → PR #1260 1.0929 → 本记录 1.0897 → PR #1394 1.08563)可以清晰地看到 16MB 极限压缩挑战的方法论:
- 参数预算不是用来「塞更多参数」,而是用来换精度:高权重衰减让权重更可压缩,压缩省下的字节全部投入更精细的量化(全 int6);
- 零参数收益优先:深度循环(11 物理层 → 13 虚拟层)与并行残差(可学习双通路路由)都是不增加权重的结构性改进,在 16MB 硬约束下尤其珍贵;
- 每一步改进都遵循「先证明、再并入」的纪律:延迟循环、路由不对称等细节都有对应的消融观测,见 2026-03-31_ParallelResiduals_MiniDepthRecurrence/README.md 与 2026-04-03_MuonEqR_DepthRecurrence_WD090_AllInt6/README.md;
- 评估清白是上榜前提:无 TTT、无 SLOT、无评估时统计,全部收益来自训练时改动,这让成绩可以被公平复现与后续对照。
如果你正在挑战 parameter-golf 的 16MB 赛道,这条记录是一份理想的「无 TTT」技术基线:架构组件(SP4096、循环层 4-5、并行残差、QK-Gain 5.0、MuonEq-R)全部可用环境变量开关控制,压缩链路(GPTQ int6 + brotli + LZMA 自解压)在 15.99MB 附近反复验证过,后续记录(SP8192、score-first TTT 等)也正是踩在这套骨架上继续前进的。