ProxylessNAS 开源项目使用教程

1. 项目介绍

ProxylessNAS 是一个由 MIT Han Lab 开发的神经架构搜索（NAS）工具，旨在直接为目标任务和硬件平台优化神经网络架构。传统的 NAS 方法通常需要大量的计算资源，并且通常在代理任务上进行搜索，然后迁移到目标任务上。ProxylessNAS 通过直接在目标任务和硬件上进行搜索，避免了代理任务的局限性，从而能够更高效地找到最优的神经网络架构。

2. 项目快速启动

2.1 环境准备

在开始之前，请确保你已经安装了以下依赖：

• Python 3.6 或更高版本
• PyTorch 1.0 或更高版本
• CUDA 10.0 或更高版本（如果使用 GPU）

2.2 安装 ProxylessNAS

你可以通过以下命令克隆并安装 ProxylessNAS：

git clone https://github.com/mit-han-lab/proxylessnas.git
cd proxylessnas
pip install -r requirements.txt

2.3 快速启动示例

以下是一个简单的示例，展示了如何使用 ProxylessNAS 加载预训练模型并进行推理：

import torch

# 加载预训练模型
target_platform = "proxyless_cpu"  # 可以选择 proxyless_gpu, proxyless_mobile, proxyless_mobile14
model = torch.hub.load('mit-han-lab/ProxylessNAS', target_platform, pretrained=True)

# 设置模型为评估模式
model.eval()

# 示例输入
input_tensor = torch.randn(1, 3, 224, 224)

# 前向传播
with torch.no_grad():
    output = model(input_tensor)

# 打印输出
print(output)

3. 应用案例和最佳实践

3.1 在移动设备上的应用

ProxylessNAS 特别适用于移动设备上的神经网络优化。通过直接在目标硬件上进行搜索，可以确保模型在移动设备上的性能和效率达到最佳。例如，你可以使用 proxyless_mobile 或 proxyless_mobile14 模型来优化移动设备的推理速度。

3.2 在 GPU 上的应用

对于需要高吞吐量的应用场景，如数据中心或高性能计算环境，可以使用 proxyless_gpu 模型。该模型在保持高精度的同时，优化了 GPU 上的推理速度。

3.3 自定义搜索任务

如果你有特定的任务需求，可以通过修改配置文件来自定义搜索任务。ProxylessNAS 提供了灵活的配置选项，允许用户根据具体需求调整搜索空间和优化目标。

4. 典型生态项目

4.1 ProxylessGaze

ProxylessGaze 是一个基于 ProxylessNAS 的实时视线估计项目。它利用 ProxylessNAS 优化后的模型，实现了在移动设备上的高效视线估计。

4.2 AutoGluon

AutoGluon 是 Amazon 开发的一个自动化机器学习工具包，支持多种模型和任务的自动优化。ProxylessNAS 的模型可以集成到 AutoGluon 中，进一步提升自动化模型的性能。

4.3 Microsoft NNI

Microsoft NNI 是一个用于神经网络架构搜索和超参数优化的工具包。ProxylessNAS 可以作为 NNI 的一个插件，帮助用户在目标任务和硬件上进行高效的神经网络搜索。

通过以上模块的介绍和示例，你应该能够快速上手并应用 ProxylessNAS 进行神经网络架构的优化。