从 Gatys 优化到 Magenta 实时风格迁移:神经艺术风格迁移技术演进与实战指南

原创2026-09-30 17:13:521,959 阅读
文章标签:人工智能深度学习音频媒体生成计算机视觉

从 Gatys 优化到 Magenta 实时风格迁移:神经艺术风格迁移技术演进与实战指南

导读

本文以 Magenta 项目中的技术综述 styletransfer.md 为核心脉络,系统梳理神经艺术风格迁移(Neural Style Transfer)从 2015 年 Gatys 等人的开创性优化算法,到 Color-Preserving 变体、视频风格迁移,再到 Johnson 等人的实时单前向网络,直至 Magenta 仓库中落地为可训练、可推理、可上移动端的工程实现的完整演进路径。读完本文,你将掌握风格迁移的三代技术原理(能量最小化、Gram 矩阵、条件实例归一化、风格预测网络),并能在 Magenta 仓库中实际运行风格化推理、训练自己的多风格模型,以及将任意风格模型蒸馏、量化到 TensorFlow Lite 部署到移动端。

"Starry Tübingen":将梵高《星夜》的风格迁移到蒂宾根大学照片上,左侧为风格与内容示意,右侧为迁移结果

一、开山之作:Gatys 的神经算法(2015)

1.1 核心思想:把风格迁移建模为能量最小化问题

2015 年 8 月,德国图宾根大学的 Gatys 等人发表了 A Neural Algorithm of Artistic Style(arXiv:1508.06576),首次证明了可以用深度卷积网络把一张艺术作品的"风格"迁移到另一张照片的"内容"上。如上图所示,把梵高《星夜》作为风格输入 S、蒂宾根大学照片作为内容输入 C,即可生成"Starry Tübingen"。

该方法的核心是把风格迁移构造成一个能量最小化(energy minimization)问题:初始化一张白噪声图像 X,联合最小化两个损失项:

  • 内容损失 Lc:约束 X 的内容与 C 一致;
  • 风格损失 Ls:约束 X 的风格与 S 一致。

1.2 内容损失:VGG-19 某层的 L2 距离

算法依托 VGG-19 这类具有层级化图像理解能力的深度卷积网络。对于内容损失,论文在特定层(conv4_2)计算 X 的输出特征与 C 的输出特征之间的 ½ 倍平方误差(L2 距离)。由于卷积网络浅层编码纹理、颜色等低级特征,深层编码语义内容,因此选择较深的 conv4_2 层能够更好地保留内容结构。

1.3 风格损失:Gram 矩阵与特征相关性

风格损失的度量采用了 Gram 矩阵:即某一层内所有向量化特征图两两之间的内积矩阵。经验上,Gram 矩阵是特征相关性的极佳代理指标,因此计算两张图像 Gram 矩阵之间的 L2 距离,就能衡量它们在"风格"上的接近程度。一个直观的理解是:如果把风格迁移算法看作纹理建模,那么 Gram 矩阵可以视为特征响应的空间汇总统计量(spatial summary statistic),对齐这些统计量就是让两张图在风格上接近。

具体地,风格损失 Ls 的计算方式为:对 conv1_1、conv2_1、conv3_1、conv4_1、conv5_1 五个层分别计算 X 与 S 的 Gram 矩阵均方误差(MSE),求和得到总风格误差。

1.4 优化与调参经验

  • 从白噪声图像 X 出发,用 L-BFGS 联合最小化两个损失即可产生风格迁移效果;
  • Lc 与 Ls 的权重参数需要根据具体的 C 和 S 手动调优;
  • 把 X 初始化为其中一张输入图像(而非白噪声)效果略好,但结果会变为确定性;
  • 实践中网络会先匹配画作的低级风格特征,再逐步修正到内容结构上;
  • 单张图像在 GPU 上约需 3~5 分钟完成;
  • 迁移效果与所用卷积网络强相关:例如用面部检测训练的骨干网络,对面部风格迁移效果更好。

该工作除了方法论贡献外,还极大地改善了公众对 AI 的认知,吸引了大量跨领域实践者进入这一方向,其后涌现出众多改进工作,以下三类最值得关注。

二、三条演进支线:保色、视频与实时化

2.1 Color-Preserving Style Transfer:保留内容图像色彩

Gatys 等人后续工作(arXiv:1606.05897)在原算法基础上增加"保留内容图像原始颜色"的能力,给出两种方法:

  1. 颜色空间线性变换:先用线性变换把风格图像的配色方案对齐到内容图像的配色方案,得到新的 S',再以 S' 替代原始 S 作为风格输入(论文给出了两种不同的线性变换实现);
  2. 仅亮度域迁移:分别提取 S 和 C 的亮度通道,仅在亮度域做风格迁移,最后把原始彩色通道覆盖回风格迁移结果之上。

保色风格迁移示例:将毕加索《坐着的裸女》风格迁移到纽约夜景上,同时保留原图配色(左:原图,中:灰调风格化,右:保色风格化)

论文对两种方法的优劣亦有讨论:颜色变换法会整体重绘色调,亮度域法则能保留内容图像色彩信息的完整性。

2.2 Artistic Style Transfer for Videos:引入光流正则化

Ruder 等人(arXiv:1604.08610)研究了视频风格迁移。他们指出:对每一帧独立应用 Gatys 算法会"导致闪烁与虚假的不连续(flickering and false discontinuities),因为风格迁移任务的解不稳定"。为此引入 光流(optical flow) 对逐帧结果进行正则化,使用了当时最先进的 DeepFlow 与 EpicFlow 估计算法,并进一步通过以下手段加强帧间一致性:

  • 双向光流检测遮挡区域(dis-occluded regions)与运动边界;
  • 惩罚与时间上较远帧的偏差,实现长期一致性。

最终帧虽非完全无缝,但一致性已相当令人印象深刻。

2.3 Instant Style Transfer:Image Transformer Network(ITN)

Johnson 等人(arXiv:1603.08155)回答了"速度"问题。Gatys 与 Ruder 的方法都需要逐帧 3~5 分钟的优化过程;Johnson 等在 VGG 之前前置一个名为 Image Transformer Network(ITN) 的深度网络,使得仅需一次前向传播即可得到满足 Gatys 优化目标的图像。

其工作原理是:预先固定风格图像 S,把 VGG 视为"输入内容图像、返回风格与内容损失之和"的黑盒;ITN 的输入是待迁移的内容图像 C,通过优化风格与内容损失训练 ITN 把 C 变换为 C'。由于对所有的 C 而言 S 保持固定,训练过程无需 Gatys 原方法那样冗长的前向/反向优化循环。该方法在质量上或有取舍,但它是当时唯一能以 15 FPS 运行风格迁移的模型——这正是 Magenta 仓库中"实时风格迁移"工程化的直接先声。

三、Magenta 工程化落地(一):多风格实时模型(image_stylization)

Magenta 将上述"一个内容、一种风格、一次前向"的思想扩展为"一个模型、N 种风格",实现于 image_stylization 目录,其论文基础是 Dumoulin、Shlens、Kudlur 的 A Learned Representation for Artistic Style(arXiv:1610.07629),完整使用说明见 README.md。

3.1 用预训练模型做风格化推理

Magenta 提供两个预训练多风格模型(Monet 10 风格、Varied 32 风格)。下载后运行:

$ image_stylization_transform \
      --num_styles=<NUMBER_OF_STYLES> \
      --checkpoint=/path/to/model.ckpt \
      --input_image=/path/to/image.jpg \
      --which_styles="[0,1,2,5,14]" \
      --output_dir=/tmp/image_stylization/output \
      --output_basename="stylized"

参数说明(与 image_stylization_transform.py 中的 flag 定义一一对应):

参数 默认值 说明
--num_styles 1 模型训练时的风格数;Monet 模型为 10,Varied 模型为 32
--alpha 1.0 宽度乘子(width multiplier),须与训练时一致
--checkpoint 无 模型 checkpoint 路径(若为目录则自动加载最新 checkpoint)
--input_image 无 输入内容图像路径
--output_dir / --output_basename 无 输出目录与输出文件名前缀
--which_styles [0] 风格索引的 Python 列表,或"索引→权重"字典

风格混合(style mixture):which_styles 也可传入 Python 字典,指定各风格的线性组合权重;未指定的风格权重为 0,且权重不会归一化。例如生成 Monet 全部风格的平均:

$ image_stylization_transform \
      --num_styles=10 \
      --checkpoint=multistyle-pastiche-generator-monet.ckpt \
      --input_image=photo.jpg \
      --which_styles="{0:0.1,1:0.1,2:0.1,3:0.1,4:0.1,5:0.1,6:0.1,7:0.1,8:0.1,9:0.1}" \
      --output_dir=/tmp/image_stylization/output \
      --output_basename="all_monet_styles"

源码层面,image_stylization_transform.py 的 _style_mixture 会把字典解析为长度为 num_styles 的一维数组,未给出的索引权重为 0;随后通过 ops.weighted_instance_norm 的 weights 参数对每个风格对应的 beta/gamma 归一化参数做加权求和(见 ops.py 的 _weighted_variable 实现),从而在单张图中混入多个风格。

3.2 多风格的技术基石:条件实例归一化(CIN)

N 风格模型的风格表达能力来源于 ops.py 的 conditional_instance_norm:归一化在每张图像(实例)的 H、W 维度上统计均值与方差,而可学习的 beta(shift)与 gamma(scale)参数则按风格标签(label)索引:

var = slim.model_variable(name, shape=shape, ...)        # [num_categories, channels]
conditioned_var = tf.gather(var, labels)                 # 按标签取对应风格参数

训练时,风格数据集为每张风格图像标注风格标签,网络为每个风格学习一套 beta/gamma;推理时通过 labels 指定风格即可。模型主干 model.py 采用"contract(收缩)→ residual(5 个残差块)→ expand(扩张)"的全卷积结构:三个下采样卷积(9×9/1、3×3/2、3×3/2)、5 个残差块、三个上采样层(3×3/2、3×3/2、9×9/1 并接 sigmoid 输出 RGB),卷积采用 REFLECT 镜像填充替代零填充(model.py),上采样用最近邻放大后再卷积而非转置卷积(model.py),以避免棋盘伪影。

3.3 训练、微调与评估

训练前需要三样东西:风格图像目录、预训练 VGG 模型 checkpoint、ImageNet 数据集。先准备风格数据集(生成 TFRecord):

$ image_stylization_create_dataset \
      --vgg_checkpoint=/path/to/vgg_16.ckpt \
      --style_files=/path/to/style/images/*.jpg \
      --output_file=/tmp/image_stylization/style_images.tfrecord

训练(默认 --train_steps=40000、学习率 1e-3、批量 16,内容/风格权重可调):

$ image_stylization_train \
      --train_dir=/tmp/image_stylization/run1/train \
      --style_dataset_file=/tmp/image_stylization/style_images.tfrecord \
      --num_styles=<NUMBER_OF_STYLES> \
      --vgg_checkpoint=/path/to/vgg_16.ckpt \
      --imagenet_data_dir=/path/to/imagenet-2012-tfrecord

默认损失权重定义于 image_stylization_train.py:内容权重 {"vgg_16/conv3": 1.0},风格权重覆盖 vgg_16/conv1~conv4 各 1e-4,并通过 --style_coefficients 按风格缩放风格损失。训练流程(image_stylization_train.py)用 VGG 预训练权重初始化、Adam 优化器 + slim.learning.train,支持参数服务器与多 worker 分布式训练。

评估(--style_grid 可生成风格网格图)与微调新风格:

$ image_stylization_evaluate \
      --style_dataset_file=/tmp/image_stylization/style_images.tfrecord \
      --train_dir=/tmp/image_stylization/run1/train \
      --eval_dir=/tmp/image_stylization/run1/eval \
      --num_styles=<NUMBER_OF_STYLES> \
      --vgg_checkpoint=/path/to/vgg_16.ckpt \
      --imagenet_data_dir=/path/to/imagenet-2012-tfrecord \
      --style_grid

$ image_stylization_finetune \
      --checkpoint=/path/to/model.ckpt \
      --train_dir=/tmp/image_stylization/run2/train \
      --style_dataset_file=/tmp/image_stylization/style_images.tfrecord \
      --num_styles=<NUMBER_OF_STYLES> \
      --vgg_checkpoint=/path/to/vgg_16.ckpt \
      --imagenet_data_dir=/path/to/imagenet-2012-tfrecord

3.4 移动端:alpha 瘦身与 TensorFlow Lite 转换

为提升移动端性能,可用 --alpha 宽度乘子训练瘦身版模型(输出通道数按 int(alpha * N) 缩放,见 model.py),再转换为 TFLite:

$ image_stylization_train \
      --train_dir=/tmp/image_stylization/run1/train \
      --style_dataset_file=/tmp/image_stylization/style_images.tfrecord \
      --num_styles=<NUMBER_OF_STYLES> \
      --alpha=0.25 \
      --vgg_checkpoint=/path/to/vgg_16.ckpt \
      --imagenet_data_dir=/path/to/imagenet-2012-tfrecord

$ image_stylization_convert_tflite \
      --checkpoint=/tmp/image_stylization/run1/train \
      --num_styles=<NUMBER_OF_STYLES> \
      --alpha=0.25 \
      --output_model='/tmp/image_stylization/model.tflite'

不同 alpha 取值下模型输出的对比如 sample_images/benchmark.png 所示。

四、Magenta 工程化落地(二):任意风格实时模型(arbitrary_image_stylization)

多风格模型解决了"有限 N 个风格",但无法处理任意风格。Magenta 进一步开源了实时、任意风格的神经风格化系统(论文 Exploring the structure of a real-time, arbitrary neural artistic stylization network,Ghiasi 等,BMVC 2017,见 arbitrary_image_stylization/README.md)。它继承了 ITN 的实时性,同时把"学习到的风格表示"扩展到任意画作,还支持风格任意组合与"identity interpolation"(风格强度调节)。

4.1 架构:风格预测网络 + 风格变换网络

整个系统由两个子网络组成(arbitrary_image_stylization_build_model.py):

  1. 风格预测网络(style prediction network):以 Inception-v3 为骨干(默认截断到 Mixed_6e,输入 256×256 时特征图为 14×14×768),经全局平均池化得到瓶颈特征 bottleneck_feat(默认 100 维,通过 1×1 卷积压缩),再对变换网络的 13 个归一化层分别预测 beta/gamma(arbitrary_image_stylization_build_model.py);
  2. 风格变换网络(style transformer network):结构与上节一致,但编码层用 batch norm,13 个归一化位置(5 个残差块 × 2 个卷积 + 3 个扩张层,见 nza_model.py 的 style_normalization_activations)改为 conditional_style_norm——不持有可学习参数,而是从 style_params 字典直接读取预测出的 beta/gamma(ops.py)。

训练损失(arbitrary_image_stylization_losses.py)与 Gatys 一脉相承:内容损失为指定 VGG 层上两特征图的 MSE(content_loss),风格损失为两 Gram 矩阵的 MSE(style_loss),外加总变差(total variation)正则项,三者加权求和。

4.2 用预训练模型做任意风格化推理

下载 PNB+DTD 预训练模型后:

$ cd /path/to/arbitrary_image_stylization
$ arbitrary_image_stylization_with_weights \
  --checkpoint=/path/to/arbitrary_style_transfer/model.ckpt \
  --output_dir=/path/to/output_dir \
  --style_images_paths=images/style_images/*.jpg \
  --content_images_paths=images/content_images/*.jpg \
  --image_size=256 \
  --content_square_crop=False \
  --style_image_size=256 \
  --style_square_crop=False \
  --logtostderr

参数含义(对应 arbitrary_image_stylization_with_weights.py):--style_images_paths/--content_images_paths 支持 glob 通配(内部用 tf.gfile.Glob 展开,最多评估 --maximum_styles_to_evaluate(默认 1024)个风格);--image_size/--style_image_size 控制内容/风格图的缩放尺寸;--content_square_crop/--style_square_crop 控制是否先中心裁剪为正方形(image_utils.py 中 center_crop_resize_image/resize_image 实现)。运行逻辑为:对每张风格图先经 Inception 编码得到瓶颈参数,再喂给变换网络完成一次前向(arbitrary_image_stylization_with_weights.py)。仓库内置示例风格图(style_images)与内容图(content_images),风格化结果示例见 stylized_images。

4.3 Identity Interpolation:调节风格强度与风格组合

由于瓶颈特征是对风格的可微表示,可以插值调节风格强度:--interpolation_weights 定义插值权重列表,0.0 对应恒等变换(identity transform,几乎无风格),1.0 对应完全风格化。核心实现(arbitrary_image_stylization_with_weights.py):先用内容图本身求出恒等变换的瓶颈参数 identity_params,再对每张风格图求 style_params,最终前向输入为 identity_params * (1 - wi) + style_params * wi:

$ INTERPOLATION_WEIGHTS='[0.0,0.2,0.4,0.6,0.8,1.0]'
$ arbitrary_image_stylization_with_weights \
  --checkpoint=/path/to/arbitrary_style_transfer/model.ckpt \
  --output_dir=/path/to/output_dir \
  --style_images_paths=images/style_images/*.jpg \
  --content_images_paths=images/content_images/statue_of_liberty_sq.jpg \
  --image_size=256 \
  --content_square_crop=False \
  --style_image_size=256 \
  --style_square_crop=False \
  --interpolation_weights=$INTERPOLATION_WEIGHTS \
  --logtostderr

不同插值权重下的渐变结果可参考 stylized_images_interpolation 目录下的示例图(如 statue_of_liberty_stylized_Theo_van_Doesburg_0.jpg~5.jpg)。

4.4 训练任意风格模型

训练需要 PBN/DTD 风格数据集、ImageNet、VGG 与 Inception-v3 预训练 checkpoint。先制作风格 TFRecord(--compute_gram_matrices=False 表示无需预计算 Gram 矩阵,因为本方法不直接使用 Gram 损失):

$ cd /path/to/dataset
$ path=$(pwd)
$ wget https://www.robots.ox.ac.uk/~vgg/data/dtd/download/dtd-r1.0.1.tar.gz
$ tar -xvzf dtd-r1.0.1.tar.gz
$ STYLE_IMAGES_PATHS="$path"/dtd/images/cobwebbed/*.jpg
$ RECORDIO_PATH="$path"/dtd_cobwebbed.tfrecord

$ image_stylization_create_dataset \
    --style_files=$STYLE_IMAGES_PATHS \
    --output_file=$RECORDIO_PATH \
    --compute_gram_matrices=False \
    --logtostderr

小数据集快速验证(cobwebbed 类仅 120 张图,数小时即可完成训练,适合验证环境):

logdir=/path/to/logdir
$ arbitrary_image_stylization_train \
      --batch_size=8 \
      --imagenet_data_dir=/path/to/imagenet-2012-tfrecord \
      --vgg_checkpoint=/path/to/vgg-checkpoint \
      --inception_v3_checkpoint=/path/to/inception-v3-checkpoint \
      --style_dataset_file=$RECORDIO_PATH \
      --train_dir="$logdir"/train_dir \
      --content_weights={\"vgg_16/conv3\":2.0} \
      --random_style_image_size=False \
      --augment_style_images=False \
      --center_crop=True \
      --logtostderr
$ tensorboard --logdir="$logdir"

大数据集训练(为泛化到未见过的风格,官方用 PBN+DTD 训练集、8 张 GPU 训练约 3M 步;单 GPU 约耗时 8 倍,可开启风格图数据增强):

$ arbitrary_image_stylization_train \
      --batch_size=8 \
      --imagenet_data_dir=/path/to/imagenet-2012-tfrecord \
      --vgg_checkpoint=/path/to/vgg-checkpoint \
      --inception_v3_checkpoint=/path/to/inception-v3-checkpoint \
      --style_dataset_file=/path/to/style_images.tfrecord \
      --train_dir="$logdir"/train_dir \
      --random_style_image_size=True \
      --augment_style_images=True \
      --center_crop=False \
      --logtostderr

评估(GPU 训练时可另起 CPU 评估任务,CUDA_VISIBLE_DEVICES= 置空):

$ CUDA_VISIBLE_DEVICES= arbitrary_image_stylization_evaluate \
      --batch_size=16 \
      --imagenet_data_dir=/path/to/imagenet-2012-tfrecord \
      --eval_style_dataset_file=/path/to/evaluation_style_images.tfrecord \
      --checkpoint_dir="$logdir"/train_dir \
      --eval_dir="$logdir"/eval_dir \
      --logtostderr

4.5 蒸馏到 MobileNetV2 并在移动端部署

为在手机上实时运行,可将 Inception-v3 风格预测网络蒸馏为 MobileNetV2(需要 MobileNetV2 预训练 checkpoint 与 TF-slim 库):

$ arbitrary_image_stylization_distill_mobilenet \
      --imagenet_data_dir=/path/to/imagenet-2012-tfrecord \
      --style_dataset_file=/path/to/style_images.tfrecord \
      --train_dir=/path/to/logdir \
      --mobilenet_checkpoint=/path/to/mobilenet_v2_1.0_224/checkpoint//mobilenet_v2_1.0_224.ckpt \
      --initial_checkpoint=/path/to/arbitrary_style_transfer/checkpoint/model.ckpt \
      --use_true_loss=False

也可直接用 MobileNetV2 训练移动版模型(arbitrary_image_stylization_train_mobile),然后转换为 TFLite(arbitrary_image_stylization_convert_tflite)。转换输出 6 个模型文件:style_predict.tflite(float32 风格预测网络)、style_predict_quantized.tflite(int8 权重量化版)、style_predict_calibrated.tflite(全 int8 量化版),以及对应的 style_transform.tflite/style_transform_quantized.tflite/style_transform_calibrated.tflite。仓库还提供了 TFLite 变体在 TensorFlow Hub 的发布入口(见 export_hub.py 与 README 中的 Hub 链接)。

五、未来方向

从综述的"Future Steps"出发,该领域仍有大量可探索空间:改进实时光流以实现更高质量的视频风格迁移;开发新的艺术形式(如无缝迁移电影角色);或将风格迁移范式拓展到音乐等全新领域(Magenta 项目本身即以音乐与艺术生成为使命)。对读者而言,最直接的下一步是:在本仓库 image_stylization 与 arbitrary_image_stylization 两个模块中,先用预训练模型跑通推理,再逐步尝试训练与移动端部署,把从 Gatys 到实时任意风格的这条技术脉络亲手走一遍。

文中图片取自所引论文与 Magenta 仓库。

登录后查看全文
magenta