如何量化模型误差?sdss_dr12_stars_regression评估体系指南:MAE、1万次bootstrap置信区间与MADS

原创2026-10-19 13:48:271,346 阅读
文章标签:人工智能机器学习科研

如何量化模型误差?sdss_dr12_stars_regression评估体系指南:MAE、1万次bootstrap置信区间与MADS

sdss_dr12_stars_regression 是一个基于 SDSS DR12 恒星光谱的多任务回归模型仓库:输入 4,000 维处理后的光谱,输出恒星有效温度(Teff)、铁丰度([Fe/H])和表面重力(log g)三个参数。它的亮点不只是"跑出了模型",而是提供了一整套可复现的模型误差量化流程——从整体 MAE、10,000 次 bootstrap 置信区间、配对 bootstrap 显著性对比,到 MADS 逐对象误差统计和分箱误差分析。本文带你用 10 分钟读懂这套完整的评估体系,学会如何科学地量化一个回归模型的误差。

📌 一分钟了解项目:误差评估的对象是谁?

这个项目是一个"冻结参考实验"(Frozen Reference Experiment):

项目要素 内容
模型结构 残差多任务神经网络(Residual Multitask NN)
参数量 530,275(见 complexity.csv)
输入 4,000 维 processed_flux 光谱(对数波长网格)
输出 Teff(K)、[Fe/H](dex)、log g(dex)三个预测头
测试集 14,443 条光谱
随机种子 42,选定 epoch 74 / 80

模型输出在"缩放目标空间"中,需要用 target_scaler.json 按 value * scale + center 换算回物理单位——这一点直接影响 MAE 的解读。完整背景可参考 README.md。

🎯 核心指标:MAE 如何量化模型误差?

对于回归模型,最直观的错误量化指标是 MAE(Mean Absolute Error,平均绝对误差):把每条测试样本"预测值 − 参考值"取绝对值后求平均,单位与目标量一致,含义就是"平均来说,我的预测偏了多少"。

主模型在 14,443 条测试光谱上的 MAE(记录于 bootstrap_mae.json 和 research_audit.json):

参数 测试集 MAE 直观含义
Teff 58.72 K 平均预测温度偏差约 59 开尔文
[Fe/H] 0.1013 dex 平均丰度偏差约 0.1 个数量级
log g 0.1319 dex 平均表面重力偏差约 0.13 dex

💡 为什么用 MAE 而不是 MSE?MAE 不受极端离群值"拖偏",且单位可读性强——58.72 K 就是 58.72 K,方便天文物理意义的直接解读。本项目所有模型(包括 CNN/DNN/Transformer 基线)编译时都挂载了 MeanAbsoluteError 指标,保证横向可比。

原始预测数组保存在 test_predictions.npz,基线模型的预测分别在 baselines/cnn/test_predictions.npz、baselines/dnn/test_predictions.npz 和 baselines/transformer/test_predictions.npz,所有指标都可以从这些数组重新计算、审计。

🎲 10,000 次 Bootstrap:给 MAE 加上"不确定度"

单个 MAE 数字回答不了一个关键问题:这个误差估计本身有多可靠? 14,443 条测试光谱只是一个有限样本,如果换一批样本,MAE 会波动多少?

项目的答案是百分位 Bootstrap(percentile bootstrap),配置在 bootstrap_mae.json 中:

  • n_boot: 10000 —— 从测试集的逐对象绝对误差中有放回重采样 10,000 次
  • seed: 42 —— 固定种子,结果可精确复现
  • method: "percentile bootstrap of test-set absolute errors"

每次重采样都计算一个 MAE,最终取 10,000 个估计的 2.5% 与 97.5% 分位数作为 95% 置信区间(CI):

参数 MAE 95% CI
Teff 58.72 K [57.43, 60.08] K
[Fe/H] 0.1013 dex [0.0990, 0.1036] dex
log g 0.1319 dex [0.1283, 0.1355] dex

如何解读:置信区间越窄,说明 MAE 估计越稳定。Teff 的区间宽度约 ±0.8 K,相对误差不到 1.5%——这个 MAE 数字是可信的。这也正是"量化模型误差"的完整形态:点估计(MAE)+ 区间估计(CI),而不只是一个孤零零的数字。

⚖️ 配对 Bootstrap:模型间的差异到底显著吗?

比较两个模型时,直接对比 MAE 是有陷阱的:主模型 Teff MAE 是 58.72 K,DNN 基线是 60.30 K,差 1.58 K——这个差距是真的,还是测试集抽样噪声?

项目的做法是配对百分位 Bootstrap(paired percentile bootstrap),记录在 paired_bootstrap.json:对每个测试对象,计算 |主模型误差| − |基线模型误差| 的逐对象差异,再对 14,443 个差异值重采样 10,000 次(seed 42),得到差值的 95% CI。差值定义为 MAE_comparator − MAE_paper,正值代表主模型更好。

对比基线 Teff 差值 (K) 95% CI 排除 0?
DNN +1.59 K [0.73, 2.44] ✅
CNN +24.97 K [23.65, 26.31] ✅
SpecT (Transformer) +9.55 K [8.43, 10.69] ✅

三个对比在 Fe/H] 和 log g 上也同样全部 ci_excludes_zero: true。置信区间不覆盖 0 = 差异统计显著——这是比"数字更小"强得多的结论。注意 [baselines/transformer/test_metrics.json 里 SpecT 的 MAE 为 68.27 K / 0.1157 dex / 0.1475 dex,与主模型差距明显。

📎 消融实验也用了同样的方法:ablations/ablation_paired_bootstrap.json 中,去掉 LayerNorm 后 Teff MAE 升高 4.52 K(CI [3.65, 5.38],显著),而去掉噪声增广的 Teff 差值 CI 包含 0([-0.75, 0.57],不显著)——数据说话,噪声增广的贡献在这个测试集上统计上不可区分。

📏 MADS:逐对象误差分布的补充度量

整体 MAE 是一个"平均"数字,它隐藏了逐对象误差的分布形状。MADS 正是为此设计的度量,由配套源码仓库中的 results_and_evaluations/measure_madds.py 和 results_and_evaluations/measure_spectral_transformer_madds.py 两个脚本实现(本产物仓库在 research_audit.json 中记录了这两个脚本的 SHA-256 哈希以保证可审计性)。

理解 MADS 的关键是它与 MAE 的关系:

  • **MAD(Mean Absolute Deviation,平均绝对偏差)**描述一组偏差数据的集中趋势与离散程度;
  • MAE 可以看作 MAD 在"全部测试对象"上的平均结果;
  • MADS 则是对每个目标参数(d = differences,差异)分别统计逐对象绝对偏差,用来刻画"误差到底分布在哪些对象上"。

三者的分工非常清晰:MAE 给总分,bootstrap CI 给总分的可靠度,MADS 给分数的逐对象结构。这也是为什么本仓库同时保留了逐对象预测数组(.npz 文件)——MADS 这类统计必须能回到单条样本层面重新计算。

📊 分箱误差分析:误差在哪里"变差"?

最能暴露模型弱点的报告是 parameter_range_errors.json(CSV 版见 parameter_range_errors.csv):把测试集按参考值分箱(每箱还附带 10,000 次 bootstrap 的 MAE/bias 置信区间,样本数 < 30 的箱标记为 sparse)。几个典型发现:

区间 样本数 MAE 说明
Teff 5,000–5,500 K 4,618 47.27 K 数据最密,误差最小
Teff 8,500–9,500 K 141 209.33 K 高温尾部,误差激增 4 倍
[Fe/H] −4.5 ~ −3.0 105 0.3435 dex 极端贫金属区误差最大
log g 4.0–4.5 7,057 0.0856 dex 主峰区间,误差最小

同时报告还给出每箱的 bias(预测 − 参考):Teff 8,500–9,500 K 箱的 bias 高达 −180.4 K(CI 完全为负),说明高温区不是"随机抖大",而是存在系统性低估。这种"MAE + bias + CI"的三元组,是诊断模型失效模式的标准姿势。

🔬 消融实验与复杂度:误差的"归因"

ablations/ablation_summary.csv 汇总了各消融变体的参数量、FLOPs 与三目标 MAE,配合 ablations/ablation_paired_bootstrap.json 的显著性检验,能回答"哪个设计真正贡献了精度":

  • 去掉残差+LayerNorm → Teff MAE 升至 64.02 K(显著变差)
  • 去掉 skip 连接 → 60.31 K(Teff 显著变差 +1.60 K)
  • 单独训练单目标(no_multitask)→ 58.94 K,与主模型差异 CI 包含 0(多任务收益不显著)
  • 参数量对比见 complexity.csv:主模型 530,275 参数、约 1.06M FLOPs,比单目标基线更省

训练配置(损失权重、选模指标 normalized_validation_mae_sum_v1、选定 epoch 等)全部固化在 run_config.json 中,评估口径因此完全可追溯。

📂 自己动手:评估文件速查表

你想确认的事 看哪个文件
主模型 MAE + 95% CI bootstrap_mae.json
模型 vs 基线是否显著更优 paired_bootstrap.json
消融是否显著 ablations/ablation_paired_bootstrap.json
各区间误差与系统性偏差 parameter_range_errors.json
参数量 / FLOPs complexity.csv
全链路审计(哈希、测试通过数) research_audit.json
产物清单与 SHA-256 artifact_manifest.json
软件版本锁定 software_versions.json
逐对象预测数组 test_predictions.npz

research_audit.json 中还记录了 20 项回归测试全部通过、100 个 tuner trial 选择分数已核验、模型 SHA-256 与权重一致——评估不是"算一次就完",而是可以被独立重算与验证的。

✅ 总结:量化模型误差的完整清单

通过 sdss_dr12_stars_regression 这个项目,你可以学到一套适用于任何回归任务的误差量化方法论:

  1. 点估计:用 MAE 报告"平均偏多少",单位即物理量;
  2. 区间估计:用 10,000 次 percentile bootstrap 给出 MAE 的 95% CI,说明估计本身的可信度;
  3. 显著性检验:用配对 bootstrap 检验"模型 A 比 B 好"是否统计显著(CI 是否排除 0);
  4. 分布刻画:用 MADS 类逐对象偏差统计,看清误差的分布结构;
  5. 失效定位:按目标值分箱,报告每箱 MAE、bias 及 CI,锁定系统性偏差区间;
  6. 归因与审计:消融实验回答"谁贡献了精度",SHA-256 哈希 + 固定种子让一切可复现。

一个诚实的提醒(来自 README.md):本项目评估使用单一归档种子与 SSPP 目录标签,而非独立物理真值——理解误差量化的同时,也要理解它边界在哪里。这本身就是良好评估实践的一部分。

登录后查看全文
sdss_dr12_stars_regression