Fromage 优化器项目教程

1. 项目目录结构及介绍

本项目是基于 PyTorch 的 Fromage 优化器实现，目录结构如下：

fromage/
├── classify-cifar/         # CIFAR-10 分类实验。
├── classify-imagenet/      # ImageNet 分类实验。
├── classify-mnist/         # MNIST 分类实验。
├── transformer-wikitext2/  # Transformer 在 Wikitext-2 数据集上的训练实验。
├── generate-cifar/         # CIFAR-10 条件生成对抗网络（GAN）实验。
├── make-plots/             # 用于重现论文中图表的代码。
├── LICENSE                 # 算法的许可协议。
├── README.md               # 当前阅读的使用说明文档。
└── fromage.py              # PyTorch 中 Fromage 优化器的实现代码。

每个子目录包含了对应实验的代码和数据，可以根据需要运行和修改。

2. 项目的启动文件介绍

项目的启动主要是通过 fromage.py 文件来实现的。您需要将此文件复制到您的项目目录中，然后按照以下方式引入和使用 Fromage 优化器：

from fromage import Fromage

optimizer = Fromage(net.parameters(), lr=0.01, p_bound=None)

在这里，net 是您的模型，lr 是学习率，p_bound 是正则化标志，用于控制权重的范数。

3. 项目的配置文件介绍

本项目没有单独的配置文件，但您可以通过修改 fromage.py 中的参数来配置优化器的行为。以下是一些主要参数的介绍：

• lr：学习率，用于控制权重更新的步长。
• p_bound：正则化参数，如果设置，将限制权重的范数，以防止过拟合。

另外，实验目录中的 Jupyter Notebook 文件通常包含了实验的配置细节，您可以直接在这些文件中修改参数来运行不同的实验。

请根据您的具体需求调整这些参数，并确保在运行之前已经正确配置了您的环境和模型。