GAN

判别器的目标函数：

最大化真实样本的期望（输出为Real），最小化从人为定义的分布中随机采样的向量（输出为Fake）

生成器目标函数：

最大化从人为定义的分布中随机采样的向量，去欺骗判别器

训练算法

KL散度、JS散度

KL散度：衡量两个概率分布匹配程度的指标，当P1=P2时，KL散度为0

• KL散度具有非负性，根据吉布斯不等式：

• KL散度不具有对称性，即 KL(P1||P2) ≠ KL(P2||P1)

因此在试图去拟合两种分布，使KL散度最小时，采用KL(p||q)，和KL(q||p)会得到两种不同的结果

JS散度：

极大似然与最小化KL散度

判别器D

生成器G

最大化判别器损失，等价于计算合成数据分布和真实数据分布的JS散度

最小化生成器损失，等价于最小化JS散度（也就是优化生成模型）

cGAN

DCGAN

WGAN

Wasserstein距离

Wasserstein损失

权重截断

WGAN缺陷

WGAN-GP

SN-GAN

SN-GAN： 每层权重除以该层矩阵谱范数即可满足利普希茨连续

Self-Attention GAN

U-Net

Patch GAN

Cycle GAN