ShadeSketch 开源项目教程

2024-09-25 20:14:11作者：廉彬冶Miranda

1. 项目介绍

ShadeSketch 是一个开源项目，旨在通过深度学习技术自动生成手绘草图的艺术阴影。该项目在 2020 年的 IEEE 计算机视觉与模式识别会议 (CVPR) 上作为口头报告发表。ShadeSketch 的核心功能是从手绘草图和光源方向生成详细且准确的艺术阴影，从而快速传达草图的 3D 结构。生成的阴影可以直接使用，也可以作为艺术家的起点进行进一步的创作。

主要特点

自动阴影生成：从手绘草图和光源方向自动生成阴影。
3D 结构感知：生成的阴影能够传达草图的 3D 结构。
艺术效果：包含复杂的阴影细节，如自阴影效果、边缘照明和背光效果。
数据集：提供了一个包含 1160 个草图/阴影对的数据集，涵盖多种光源方向和主题。

2. 项目快速启动

环境准备

Python 3
NumPy
SciPy
Matplotlib
OpenCV-Python
TensorFlow

安装步骤

克隆项目仓库：

git clone https://github.com/qyzdao/ShadeSketch.git
cd ShadeSketch

安装依赖：
```
pip install -r requirements.txt
```

训练模型

使用 TensorFlow 1：
```
python train_tf1.py
```
使用 TensorFlow 2：
```
python train_tf2.py
```

评估模型

单光源方向：

python predict.py --use-smooth --use-norm --direction 810 --input-dir YOUR_DIR

多光源方向：

python predict_anim.py --use-smooth --use-norm --light-depth front --input YOUR_IMAGE

3. 应用案例和最佳实践

应用案例

艺术创作：艺术家可以使用 ShadeSketch 生成的阴影作为创作的起点，节省手动绘制阴影的时间。
教育工具：在艺术教育中，ShadeSketch 可以帮助学生理解光源和阴影的关系，提高他们的绘画技巧。
游戏开发：在游戏开发中，ShadeSketch 可以用于快速生成草图的阴影，加速游戏资产的制作过程。

最佳实践

输入图像预处理：为了获得最佳效果，输入图像应调整为 320x320 到 512x512 像素，并且线条宽度应在 1 到 6 像素之间。
模型选择：根据需求选择合适的模型（如 linenorm.pb, linesmoother.pb, lineshader.pb），并将其放置在 models 文件夹中。