如何量化模型误差?sdss_dr12_stars_regression评估体系指南:MAE、1万次bootstrap置信区间与MADS
如何量化模型误差?sdss_dr12_stars_regression评估体系指南:MAE、1万次bootstrap置信区间与MADS
sdss_dr12_stars_regression 是一个基于 SDSS DR12 恒星光谱的多任务回归模型仓库:输入 4,000 维处理后的光谱,输出恒星有效温度(Teff)、铁丰度([Fe/H])和表面重力(log g)三个参数。它的亮点不只是"跑出了模型",而是提供了一整套可复现的模型误差量化流程——从整体 MAE、10,000 次 bootstrap 置信区间、配对 bootstrap 显著性对比,到 MADS 逐对象误差统计和分箱误差分析。本文带你用 10 分钟读懂这套完整的评估体系,学会如何科学地量化一个回归模型的误差。
📌 一分钟了解项目:误差评估的对象是谁?
这个项目是一个"冻结参考实验"(Frozen Reference Experiment):
| 项目要素 | 内容 |
|---|---|
| 模型结构 | 残差多任务神经网络(Residual Multitask NN) |
| 参数量 | 530,275(见 complexity.csv) |
| 输入 | 4,000 维 processed_flux 光谱(对数波长网格) |
| 输出 | Teff(K)、[Fe/H](dex)、log g(dex)三个预测头 |
| 测试集 | 14,443 条光谱 |
| 随机种子 | 42,选定 epoch 74 / 80 |
模型输出在"缩放目标空间"中,需要用 target_scaler.json 按 value * scale + center 换算回物理单位——这一点直接影响 MAE 的解读。完整背景可参考 README.md。
🎯 核心指标:MAE 如何量化模型误差?
对于回归模型,最直观的错误量化指标是 MAE(Mean Absolute Error,平均绝对误差):把每条测试样本"预测值 − 参考值"取绝对值后求平均,单位与目标量一致,含义就是"平均来说,我的预测偏了多少"。
主模型在 14,443 条测试光谱上的 MAE(记录于 bootstrap_mae.json 和 research_audit.json):
| 参数 | 测试集 MAE | 直观含义 |
|---|---|---|
| Teff | 58.72 K | 平均预测温度偏差约 59 开尔文 |
| [Fe/H] | 0.1013 dex | 平均丰度偏差约 0.1 个数量级 |
| log g | 0.1319 dex | 平均表面重力偏差约 0.13 dex |
💡 为什么用 MAE 而不是 MSE?MAE 不受极端离群值"拖偏",且单位可读性强——58.72 K 就是 58.72 K,方便天文物理意义的直接解读。本项目所有模型(包括 CNN/DNN/Transformer 基线)编译时都挂载了
MeanAbsoluteError指标,保证横向可比。
原始预测数组保存在 test_predictions.npz,基线模型的预测分别在 baselines/cnn/test_predictions.npz、baselines/dnn/test_predictions.npz 和 baselines/transformer/test_predictions.npz,所有指标都可以从这些数组重新计算、审计。
🎲 10,000 次 Bootstrap:给 MAE 加上"不确定度"
单个 MAE 数字回答不了一个关键问题:这个误差估计本身有多可靠? 14,443 条测试光谱只是一个有限样本,如果换一批样本,MAE 会波动多少?
项目的答案是百分位 Bootstrap(percentile bootstrap),配置在 bootstrap_mae.json 中:
n_boot: 10000—— 从测试集的逐对象绝对误差中有放回重采样 10,000 次seed: 42—— 固定种子,结果可精确复现method: "percentile bootstrap of test-set absolute errors"
每次重采样都计算一个 MAE,最终取 10,000 个估计的 2.5% 与 97.5% 分位数作为 95% 置信区间(CI):
| 参数 | MAE | 95% CI |
|---|---|---|
| Teff | 58.72 K | [57.43, 60.08] K |
| [Fe/H] | 0.1013 dex | [0.0990, 0.1036] dex |
| log g | 0.1319 dex | [0.1283, 0.1355] dex |
如何解读:置信区间越窄,说明 MAE 估计越稳定。Teff 的区间宽度约 ±0.8 K,相对误差不到 1.5%——这个 MAE 数字是可信的。这也正是"量化模型误差"的完整形态:点估计(MAE)+ 区间估计(CI),而不只是一个孤零零的数字。
⚖️ 配对 Bootstrap:模型间的差异到底显著吗?
比较两个模型时,直接对比 MAE 是有陷阱的:主模型 Teff MAE 是 58.72 K,DNN 基线是 60.30 K,差 1.58 K——这个差距是真的,还是测试集抽样噪声?
项目的做法是配对百分位 Bootstrap(paired percentile bootstrap),记录在 paired_bootstrap.json:对每个测试对象,计算 |主模型误差| − |基线模型误差| 的逐对象差异,再对 14,443 个差异值重采样 10,000 次(seed 42),得到差值的 95% CI。差值定义为 MAE_comparator − MAE_paper,正值代表主模型更好。
| 对比基线 | Teff 差值 (K) | 95% CI | 排除 0? |
|---|---|---|---|
| DNN | +1.59 K | [0.73, 2.44] | ✅ |
| CNN | +24.97 K | [23.65, 26.31] | ✅ |
| SpecT (Transformer) | +9.55 K | [8.43, 10.69] | ✅ |
三个对比在 Fe/H] 和 log g 上也同样全部 ci_excludes_zero: true。置信区间不覆盖 0 = 差异统计显著——这是比"数字更小"强得多的结论。注意 [baselines/transformer/test_metrics.json 里 SpecT 的 MAE 为 68.27 K / 0.1157 dex / 0.1475 dex,与主模型差距明显。
📎 消融实验也用了同样的方法:ablations/ablation_paired_bootstrap.json 中,去掉 LayerNorm 后 Teff MAE 升高 4.52 K(CI [3.65, 5.38],显著),而去掉噪声增广的 Teff 差值 CI 包含 0([-0.75, 0.57],不显著)——数据说话,噪声增广的贡献在这个测试集上统计上不可区分。
📏 MADS:逐对象误差分布的补充度量
整体 MAE 是一个"平均"数字,它隐藏了逐对象误差的分布形状。MADS 正是为此设计的度量,由配套源码仓库中的 results_and_evaluations/measure_madds.py 和 results_and_evaluations/measure_spectral_transformer_madds.py 两个脚本实现(本产物仓库在 research_audit.json 中记录了这两个脚本的 SHA-256 哈希以保证可审计性)。
理解 MADS 的关键是它与 MAE 的关系:
- **MAD(Mean Absolute Deviation,平均绝对偏差)**描述一组偏差数据的集中趋势与离散程度;
- MAE 可以看作 MAD 在"全部测试对象"上的平均结果;
- MADS 则是对每个目标参数(d = differences,差异)分别统计逐对象绝对偏差,用来刻画"误差到底分布在哪些对象上"。
三者的分工非常清晰:MAE 给总分,bootstrap CI 给总分的可靠度,MADS 给分数的逐对象结构。这也是为什么本仓库同时保留了逐对象预测数组(.npz 文件)——MADS 这类统计必须能回到单条样本层面重新计算。
📊 分箱误差分析:误差在哪里"变差"?
最能暴露模型弱点的报告是 parameter_range_errors.json(CSV 版见 parameter_range_errors.csv):把测试集按参考值分箱(每箱还附带 10,000 次 bootstrap 的 MAE/bias 置信区间,样本数 < 30 的箱标记为 sparse)。几个典型发现:
| 区间 | 样本数 | MAE | 说明 |
|---|---|---|---|
| Teff 5,000–5,500 K | 4,618 | 47.27 K | 数据最密,误差最小 |
| Teff 8,500–9,500 K | 141 | 209.33 K | 高温尾部,误差激增 4 倍 |
| [Fe/H] −4.5 ~ −3.0 | 105 | 0.3435 dex | 极端贫金属区误差最大 |
| log g 4.0–4.5 | 7,057 | 0.0856 dex | 主峰区间,误差最小 |
同时报告还给出每箱的 bias(预测 − 参考):Teff 8,500–9,500 K 箱的 bias 高达 −180.4 K(CI 完全为负),说明高温区不是"随机抖大",而是存在系统性低估。这种"MAE + bias + CI"的三元组,是诊断模型失效模式的标准姿势。
🔬 消融实验与复杂度:误差的"归因"
ablations/ablation_summary.csv 汇总了各消融变体的参数量、FLOPs 与三目标 MAE,配合 ablations/ablation_paired_bootstrap.json 的显著性检验,能回答"哪个设计真正贡献了精度":
- 去掉残差+LayerNorm → Teff MAE 升至 64.02 K(显著变差)
- 去掉 skip 连接 → 60.31 K(Teff 显著变差 +1.60 K)
- 单独训练单目标(no_multitask)→ 58.94 K,与主模型差异 CI 包含 0(多任务收益不显著)
- 参数量对比见 complexity.csv:主模型 530,275 参数、约 1.06M FLOPs,比单目标基线更省
训练配置(损失权重、选模指标 normalized_validation_mae_sum_v1、选定 epoch 等)全部固化在 run_config.json 中,评估口径因此完全可追溯。
📂 自己动手:评估文件速查表
| 你想确认的事 | 看哪个文件 |
|---|---|
| 主模型 MAE + 95% CI | bootstrap_mae.json |
| 模型 vs 基线是否显著更优 | paired_bootstrap.json |
| 消融是否显著 | ablations/ablation_paired_bootstrap.json |
| 各区间误差与系统性偏差 | parameter_range_errors.json |
| 参数量 / FLOPs | complexity.csv |
| 全链路审计(哈希、测试通过数) | research_audit.json |
| 产物清单与 SHA-256 | artifact_manifest.json |
| 软件版本锁定 | software_versions.json |
| 逐对象预测数组 | test_predictions.npz |
research_audit.json 中还记录了 20 项回归测试全部通过、100 个 tuner trial 选择分数已核验、模型 SHA-256 与权重一致——评估不是"算一次就完",而是可以被独立重算与验证的。
✅ 总结:量化模型误差的完整清单
通过 sdss_dr12_stars_regression 这个项目,你可以学到一套适用于任何回归任务的误差量化方法论:
- 点估计:用 MAE 报告"平均偏多少",单位即物理量;
- 区间估计:用 10,000 次 percentile bootstrap 给出 MAE 的 95% CI,说明估计本身的可信度;
- 显著性检验:用配对 bootstrap 检验"模型 A 比 B 好"是否统计显著(CI 是否排除 0);
- 分布刻画:用 MADS 类逐对象偏差统计,看清误差的分布结构;
- 失效定位:按目标值分箱,报告每箱 MAE、bias 及 CI,锁定系统性偏差区间;
- 归因与审计:消融实验回答"谁贡献了精度",SHA-256 哈希 + 固定种子让一切可复现。
一个诚实的提醒(来自 README.md):本项目评估使用单一归档种子与 SSPP 目录标签,而非独立物理真值——理解误差量化的同时,也要理解它边界在哪里。这本身就是良好评估实践的一部分。