ShadeSketch 开源项目教程

1. 项目介绍

ShadeSketch 是一个开源项目，旨在通过深度学习技术自动生成手绘草图的艺术阴影。该项目在 2020 年的 IEEE 计算机视觉与模式识别会议 (CVPR) 上作为口头报告发表。ShadeSketch 的核心功能是从手绘草图和光源方向生成详细且准确的艺术阴影，从而快速传达草图的 3D 结构。生成的阴影可以直接使用，也可以作为艺术家的起点进行进一步的创作。

主要特点

• 自动阴影生成：从手绘草图和光源方向自动生成阴影。
• 3D 结构感知：生成的阴影能够传达草图的 3D 结构。
• 艺术效果：包含复杂的阴影细节，如自阴影效果、边缘照明和背光效果。
• 数据集：提供了一个包含 1160 个草图/阴影对的数据集，涵盖多种光源方向和主题。

2. 项目快速启动

环境准备

• Python 3
• NumPy
• SciPy
• Matplotlib
• OpenCV-Python
• TensorFlow

安装步骤

1. 克隆项目仓库：

   git clone https://github.com/qyzdao/ShadeSketch.git
   cd ShadeSketch
   

2. 安装依赖：

   pip install -r requirements.txt
   

训练模型

• 使用 TensorFlow 1：

  python train_tf1.py
  

• 使用 TensorFlow 2：

  python train_tf2.py
  

评估模型

• 单光源方向：

  python predict.py --use-smooth --use-norm --direction 810 --input-dir YOUR_DIR
  

• 多光源方向：

  python predict_anim.py --use-smooth --use-norm --light-depth front --input YOUR_IMAGE
  

3. 应用案例和最佳实践

应用案例

• 艺术创作：艺术家可以使用 ShadeSketch 生成的阴影作为创作的起点，节省手动绘制阴影的时间。
• 教育工具：在艺术教育中，ShadeSketch 可以帮助学生理解光源和阴影的关系，提高他们的绘画技巧。
• 游戏开发：在游戏开发中，ShadeSketch 可以用于快速生成草图的阴影，加速游戏资产的制作过程。

最佳实践

• 输入图像预处理：为了获得最佳效果，输入图像应调整为 320x320 到 512x512 像素，并且线条宽度应在 1 到 6 像素之间。
• 模型选择：根据需求选择合适的模型（如 linenorm.pb, linesmoother.pb, lineshader.pb），并将其放置在 models 文件夹中。

4. 典型生态项目

相关项目

• LineNormalizer：用于训练线条归一化模型的工具，有助于提高 ShadeSketch 的阴影生成质量。
• nico-opendata：提供用于训练和测试 ShadeSketch 的数据集，包含大量手绘草图和阴影对。

社区资源

• ShadeSketch 项目网站：提供项目的详细介绍、论文和在线演示。
• GitHub 仓库：包含 ShadeSketch 的源代码、数据集和预训练模型。

通过以上步骤，您可以快速上手 ShadeSketch 项目，并将其应用于各种艺术和设计场景中。