温度缩放（Temperature Scaling）项目教程

1. 项目目录结构及介绍

该项目是为了实现神经网络预测概率的校准方法——温度缩放。以下是基本的项目目录结构：

.
├── README.md      // 项目说明文件
├── demo.py        // 演示脚本，用于展示如何对模型进行温度缩放
├── models         // 存放模型相关的代码或文件夹
│   └── ...         // 可能包含具体的模型类或其他模型相关代码
├── setup.cfg       // 软件配置文件，例如Python包设置
└── temperature_scaling.py // 核心温度缩放模块
└── train.py       // 训练模型的脚本

• README.md：提供项目的基本信息和使用指南。
• demo.py：演示如何应用温度缩放到已经训练好的模型上。
• models：可能存放模型定义的代码或存储预训练模型的地方。
• setup.cfg：配置文件，用来定义Python包的相关属性。
• temperature_scaling.py：主要功能模块，实现了温度缩放算法。
• train.py：用于训练新的模型，也可以用于保存验证集指数以供温度缩放使用。

2. 项目的启动文件介绍

demo.py

demo.py是用于演示温度缩放效果的脚本。它通常包括以下步骤：

1. 加载已训练好的模型。
2. 使用temperature_scaling.py中的函数计算最佳温度参数T，这个参数是在验证集上通过最小化负对数似然损失（NLL）得到的。
3. 应用温度缩放到模型的logits上，调整预测概率分布。
4. 可能会展示校准前后的概率分布对比，以可视化校准效果。

from temperature_scaling import ModelWithTemperature
# 加载模型并保存的验证集索引
orig_model = # 创建一个模型实例
# 使用验证集计算最佳温度
best_T = # 调用相应函数
# 将温度应用到模型中
scaled_model = ModelWithTemperature(orig_model, best_T)

train.py

train.py是一个训练神经网络的脚本，它可以用于训练新模型以及保存验证数据。在使用温度缩放之前，你需要首先用这个脚本来训练模型，并保存验证集的索引。

# 定义模型、损失函数、优化器等
# 训练循环
# 在训练过程中保存验证集的logits
# ...

3. 项目的配置文件介绍

setup.cfg 文件用于配置Python包的元信息，如版本号、作者名、许可证等。当作为Python包发布时，这些信息是必需的。以下是典型的setup.cfg内容：

[metadata]
name = temperature_scaling
version = 0.1.0
author = Your Name
author_email = [e-mail]
description = A simple implementation of temperature scaling for calibration
url = https://github.com/gpleiss/temperature_scaling
license = MIT

[options]
packages = find:

install_requires =
    torch>=1.0.0
    numpy

在这个例子中，配置了包名为temperature_scaling，描述了其用途，指定了依赖库（如PyTorch和NumPy），并提供了包的URL和许可证信息。运行python setup.py sdist bdist_wheel即可创建可安装的Python包。