利用TensorFlow和Keras实现通用风格转换

该项目是《通过特征变换的通用风格转移》一文的TensorFlow与Keras版本实现。其核心是一个自编码器结构，该结构在预训练的VGG19图像分类网络的中间层进行重构。通过白化-着色变换（WCT），无需额外训练就能实现任意内容与风格图像间的风格转移。

官方的Torch实现可以在这里找到，而PyTorch版则可参考这个链接。

样例展示

以下是一段简单的样例，可以看到原始图片（左）和经过风格转换后的结果（右）：

项目要求

• Python 3.x
• tensorflow 1.2.1+
• keras 2.0.x
• 已修改的torchfile.py，兼容Windows
• scikit-image
• 可选：OpenCV（用于webcam.py）、ffmpeg（视频风格化）

预训练模型运行

1. 下载VGG19模型：bash models/download_vgg.sh
2. 获取五个解码器的检查点：bash models/download_models.sh
3. 收集风格图片。好的资源包括Wikiart数据集和描述性纹理数据集
4. 使用webcam.py或stylize.py进行实时视频或图片的风格化。两个脚本都需要相同的参数。

例如，要运行一个从relu5_1到relu1_1的多级风格化管道：

python webcam.py --checkpoints models/relu5_1 models/relu4_1 models/relu3_1 models/relu2_1 models/relu1_1 --relu-targets relu5_1 relu4_1 relu3_1 relu2_1 relu1_1 --style-size 512 --alpha 0.8 --style-path /path/to/styleimgs

其他值得注意的参数包括风格路径、风格大小、混合系数、处理次数等，更多细节见项目文档。

Docker运行

1. 下载VGG19模型：bash models/download_vgg.sh
2. 获取解码器检查点：bash models/download_models.sh
3. 在新的文件夹images中保存风格图片。
4. 安装nvidia-docker。
5. 运行摄像头示例：

nvidia-docker build -t wct-tf . # 此步骤可能需几分钟。
xhost +local:root
nvidia-docker run \
  -ti \
  --rm \
  -v $PWD/models:/usr/src/app/models \
  -v $PWD/images:/usr/src/app/images \
  -v /tmp/.X11-unix:/tmp/.X11-unix:rw \
  -e QT_X11_NO_MITSHM=1 \
  -e DISPLAY \
  --device=/dev/video0:/dev/video0 \
  wct-tf

训练解码器

1. 下载MS COCO图像作为内容数据。

2. 下载VGG19模型：bash models/download_vgg.sh

3. 按照relu目标层分别训练解码器。例如，为了训练relu3_1的目标：

   python train.py --relu-target relu3_1 --content-path /path/to/coco --batch-size 8 --feature-weight 1 --pixel-weight 1 --tv-weight 0 --checkpoint /path/to/checkpointdir --learning-rate 1e-4 --max-iter 15000
   

4. 使用TensorBoard监控训练过程：tensorboard --logdir /path/to/checkpointdir

风格交换（Style Swap）

此外，还包括一种风格交换方法，源于这篇论文。通过在内容编码中的局部区域替换与风格编码中最相似的邻近块，以增强风格转移的效果。在relu5_1层，这种方法在计算上是可行的，因为此处的特征编码尺寸较小。

注释

• 此代码库基于我对AdaIN-TF的实现，实现了Huang等人的实时自适应实例归一化方法。AdaIN操作在此处作为WCT的替代方案。

• 风格化管道可以以任何顺序连接解码器。例如，要复现原论文图5(d)中的反向精细到粗糙的管道，只需在webcam.py或stylize.py中使用--relu-targets relu1_1 relu2_1 relu3_1 relu4_1 relu5_1选项。

• coral.py实现了颜色关联对齐（CORAL），以从内容图像转移到风格图像的颜色，从而保持风格化的输出颜色。

总结，这是一个强大的工具，允许您轻松地为您的图像应用各种艺术风格，无论是实时视频还是静态图像。借助其灵活的架构和可训练的解码器，您可以探索无尽的风格可能性。现在就加入进来，发掘你的创意潜力吧！