Genegan图像属性交换
图像属性交换论文:
GeneGAN: Learning Object Transfiguration and Attribute Subspace from Unpaired Data
github地址:https://github.com/Prinsphield/GeneGAN
论文的主要思想:
通过添加标签信息0,1,代表对应的特征的有无,将所有图片分为两类Ax, Be,对这两类分别用三层卷积层的Encoder进行编码得到特征fA, fx,fB,fe(对最后一层的特征进行切分,比例为3:1)。然后将特征对fA,fe 、fB,fx、 fA,fx、fB,fe输入Decoder,用三层反卷积成进行编码得到生成的图片Ae、Bx、Ax2、Be2。
网络结构
优点
不需要成对的同一个人有和没有相应特征的成对图片进行训练。添加Parallelogram Loss:
使生成图片和源图片的像素均值一致,以实现在两张图片的特征交换,确定特征的形态(比如微笑的程度,眼镜的款式),解决以往Gan生成特征的随机性问题。
不足
Reconstruction loss 较高,引起训练不稳定及图像质量不高的问题;特征交换效果不好。