Autograd-from-scratch 项目使用教程

1. 项目的目录结构及介绍

Autograd-from-scratch 是一个开源的教育性深度学习框架，其目录结构如下：

• neuralforge/: 框架主体，包含 Python 文件。
  • tensor_operations.py: 包含 Tensor 类和所有的张量操作。
  • utils.py: 包含操作和辅助函数。
  • nn/: 框架的子模块，包含完整的层和优化器。
    • nn.py: 包含大多数深度学习层和 nn.Module 类。
    • optim.py: 包含优化器。
• data/: 存储训练数据的文件夹。目前包含 shakespeare.txt。
• test/: 包含单元测试的文件夹，其中有 test_framework.py。
• setup.py: 框架的设置文件。
• requirements.txt: 列出项目所需依赖的文件。

2. 项目的启动文件介绍

项目的启动文件主要是 setup.py，该文件用于配置和安装项目依赖。在虚拟环境中，可以通过以下命令安装项目依赖：

pip install -r requirements.txt

此外，可以通过以下命令安装框架：

pip install neuralforge

3. 项目的配置文件介绍

在 Autograd-from-scratch 中，主要的配置是通过代码中的参数实现的。例如，在创建一个 Transformer 类的实例时，可以通过构造函数的参数来配置模型：

model = Transformer(vocab_size, hidden_size, n_timesteps, n_heads, dropout_p)

这里的 vocab_size、hidden_size、n_timesteps、n_heads 和 dropout_p 都是模型的配置参数。

对于训练过程，配置如学习率、批次大小等也是通过代码中的变量来设置的：

optimizer = optim.Adam(model.parameters(), lr=0.01, reg=0)

在这个例子中，学习率和正则化项 reg 是优化器的配置参数。

请注意，由于框架是基于 numpy 构建的，因此不支持 CUDA。这意味着所有的计算将在 CPU 上进行。在编写自定义模型时，可以使用和 PyTorch 相同的语法，继承 nn.Module 类，并选择合适的层和函数。