L3C-PyTorch 开源项目使用教程

1. 项目介绍

L3C-PyTorch 是一个基于 PyTorch 实现的图像无损压缩系统，由 Fabian Mentzer、Eirikur Agustsson、Michael Tschannen、Radu Timofte 和 Luc Van Gool 在 CVPR'19 上提出。该项目的主要目标是提供一个实用的、学习型的无损图像压缩系统，旨在超越现有的工程编解码器（如 PNG、WebP 和 JPEG 2000）。

L3C-PyTorch 的核心是一个完全并行化的分层概率模型，用于自适应熵编码，该模型针对压缩任务进行了端到端的优化。与最近的自动回归离散概率模型（如 PixelCNN）相比，L3C 具有以下优势：

• 联合建模图像分布与学习的辅助表示，而不仅仅是 RGB 空间中的图像分布。
• 仅需要三个前向传递来预测所有像素概率，而不是每个像素一个。

2. 项目快速启动

2.1 环境准备

首先，确保你已经安装了 Anaconda 或 Miniconda。然后，按照以下步骤创建并激活一个新的 conda 环境：

conda create --name l3c_env python=3.7 pip --yes
conda activate l3c_env

2.2 安装依赖

安装 PyTorch 和其他必要的依赖包：

conda install pytorch=1.1 torchvision cudatoolkit=10.0 -c pytorch
pip install -r pip_requirements.txt

2.3 编译 torchac

为了使用 L3C 进行图像压缩，你需要编译 torchac 模块。进入 src/torchac 目录并运行以下命令：

cd src/torchac
COMPILE_CUDA=auto python setup.py install

2.4 下载预训练模型

你可以从项目的 GitHub 页面 下载预训练模型。下载后，解压模型文件。

2.5 运行图像压缩

使用以下命令对图像进行压缩和解压缩：

# 压缩图像
python l3c.py /path/to/logdir 0306_0001 enc /path/to/img out.l3c

# 解压缩图像
python l3c.py /path/to/logdir 0306_0001 dec out.l3c decoded.png

3. 应用案例和最佳实践

3.1 图像压缩

L3C-PyTorch 可以用于对高分辨率图像进行无损压缩。通过使用预训练模型，用户可以快速实现图像的压缩和解压缩，而无需从头开始训练模型。

3.2 自定义数据集训练

如果你有自定义的图像数据集，可以通过以下步骤进行训练：

1. 准备数据集：使用 prep_openimages.sh 脚本对数据集进行预处理。
2. 修改配置文件：根据你的数据集修改 configs/ms 和 configs/dl 目录下的配置文件。
3. 开始训练：使用 train.py 脚本启动训练过程。

python train.py configs/ms/cr.cf configs/dl/oi.cf log_dir

3.3 模型评估

使用 test.py 脚本对训练好的模型进行评估：

python test.py /path/to/logdir 0306_0001 /some/imgdir --names "L3C" --recursive=auto

4. 典型生态项目

4.1 PyTorch

L3C-PyTorch 是基于 PyTorch 框架实现的，PyTorch 是一个开源的深度学习框架，广泛应用于计算机视觉和自然语言处理等领域。

4.2 torchac

torchac 是 L3C-PyTorch 项目中的一个重要模块，用于实现快速的熵编码。它是一个基于 C++ 的 PyTorch 扩展，提供了高效的算术编码功能。

4.3 Open Images Dataset

在 L3C-PyTorch 的训练和评估过程中，使用了 Open Images Dataset。这是一个大规模的图像数据集，包含了数百万张标注图像，适用于各种计算机视觉任务。

通过以上步骤，你可以快速上手 L3C-PyTorch 项目，并将其应用于图像无损压缩任务中。