基于Wasserstein距离作为GAN的优化目标提高其训练稳定性的理论研究

A Theoretical Study of Improving the Training Stability of GAN Based on Wasserstein Distance as Optimization Objective

摘要: 生成对抗网络(Generative adversarial Nets，以下简称GANs)因其在图像生成等领域的成功应用而备受关注。然而，其训练的不稳定性一直是一个难以解决的问题，训练过程常常受到模式崩溃、梯度消失和优化不稳定的困扰。一般提高GANs训练稳定性的方法有替代损失函数、梯度惩罚、谱归一化、批量归一化和架构改进等方法。但是这些研究大多缺乏理论基础，未给出相对完善的理论证明，本论文的目标是深入理解基于Wasserstein距离训练GANs的不稳定性，提供较为完整的理论证明。并探讨了进一步改进WGAN训练稳定性的策略，如梯度惩罚(WGAN-GP)，以提高WGAN训练的稳定性和泛化能力。本文的主要研究内容如下：第一部分：分析了WGAN通过最小化Wasserstein距离(简称W距离)代替传统的Jensen-divergence (简称JS散度)，避免了梯度消失问题。其关键优势在于采用了1-Lipschitz连续的判别器，确保了在训练过程中生成器能够从判别器获得有效梯度。其次，证明了W距离相较于其他距离或者散度对于概率分布序列具有良好的连续性和收敛性。第二部分：通过引入W距离替代原来两个分布之间的JS散度，从理论上改善了GANs训练的稳定性。然而，WGAN的实现仍面临挑战，如权重裁剪导致的容量利用不足和梯度消失问题。为此，基于W距离，Gulrajani等人提出了梯度惩罚(WGAN-GP)来满足Lipschitz约束，以进一步提高训练稳定性。但是大多文献直接给出梯度惩罚常数为1，并未给出具体证明，在本文中给出了证明。

Abstract: Generative adversarial networks (GANs) have attracted much attention due to their successful applications in fields such as image generation. However, the instability of their training has always been a difficult problem to solve, and the training process is often plagued by mode collapse, gradient vanishing, and optimization instability. General methods to improve the stability of GANs training include alternative loss functions, gradient penalties, spectral normalization, batch normalization, and architectural improvements. However, most of these studies lack a theoretical basis and do not provide a relatively complete theoretical proof. The goal of this paper is to deeply understand the instability of GANs training based on Wasserstein distance and provide a relatively complete theoretical proof. It also explores strategies to further improve the stability of WGAN training, such as gradient penalty (WGAN-GP), to improve the stability and generalization ability of WGAN training. The main research contents of this paper are as follows: Part I: WGAN is analyzed to avoid the gradient vanishing problem by minimizing the Wasserstein distance (W distance for short) instead of the traditional Jensen-divergence (JS divergence for short). Its key advantage is the use of 1-Lipschitz continuous discriminator, which ensures that the generator can obtain effective gradients from the discriminator during training. Secondly, it is proved that W distance has good continuity and convergence for probability distribution sequences compared with other distances or divergences. Part II: By introducing W distance to replace the JS divergence between the original two distributions, the stability of GANs training is theoretically improved. However, the implementation of WGAN still faces challenges, such as insufficient capacity utilization and gradient vanishing problems caused by weight clipping. To this end, based on W distance, Gulrajani et al. proposed a gradient penalty (WGAN-GP) to meet the Lipschitz constraint to further improve training stability. However, most literature directly gives the gradient penalty constant as 1, without giving a specific proof, which is given in this article.

1. 研究背景

生成对抗网络(GANs) [1]自2014年提出以来，在图像生成[2] [3]、数据增强、风格迁移、超分辨率重建等领域取得了显著成果。然而，尽管GANs在生成高质量数据方面表现优异，但其训练过程却极不稳定，面临诸多挑战，包括模式崩溃、梯度消失或爆炸、训练震荡以及难以收敛等问题[4]-[6]。这些问题严重影响了GANs在实际应用中的可靠性和推广性。

为了解决训练稳定性问题，研究者们提出了多种改进方法，如改进损失函数、引入正则化技术(梯度惩罚[7]、谱归一化SN-GAN [8])、调整网络结构(自注意力机制Self-Attention [9] GAN、StyleGAN [9])等。然而，GANs训练稳定性的理论分析和实践优化仍然是一个开放性问题，值得进一步深入研究。

2. 标准GANs的原理及结构

GANs是一类强大的生成模型，通过两个神经网络(生成器和鉴别器)之间的博弈过程进行训练，训练过程被建模为一个Min-Max问题，生成器(Generator)捕获数据分布、生成逼真的数据，以欺骗鉴别器，鉴别器(Discriminator)估计样本是来自真实分布还是生成分布的概率，通过彼此博弈，直到鉴别器输出概率稳定为0.5，最终达到纳什平衡。

生成器(G)的核心是先从一个简单的先验$z~p\left(z\right)$ 中采样(例如均匀分布或者高斯分布)，然后映射到样本空间$g_{\theta }\left(z\right)$ ，有时最后会添加噪音。$g_{\theta }$ 是一个由$\theta$ 参数化的神经网络。

鉴别器(D)接收生成器生成的样本或者真实数据样本，并且区分两者，输出一个概率值。样本来自真实数据输出1，来自生成数据输出0。

GANs整体训练目标：

$\underset{G}{\min }\underset{D}{\max }V\left(D,G\right)={\mathbb{E}}_{x~{\mathbb{P}}_r}\left[\log D\left(x\right)\right]+{\mathbb{E}}_{z~{\mathbb{P}}_g}\left[\log \left(1-D\left(z\right)\right)\right]$ (2.1)

经典的GANs训练过程可以分为两步，首先固定生成器，训练鉴别器：

使

$L\left(D,g_{\theta }\right)={\mathbb{E}}_{x~{\mathbb{P}}_r}\left[\log D\left(x\right)\right]+{\mathbb{E}}_{z~{\mathbb{P}}_g}\left[\log \left(1-D\left(z\right)\right)\right]$ (2.2)

达到最大。

关于D对$L\left(D,g_{\theta }\right)$ 进行求导，在理论上[1]鉴别器可以收敛到最优状态为：

$D^{\ast }\left(x\right)=\frac{P_r\left(x\right)}{P_r\left(x\right)+P_g\left(x\right)}$ (2.3)

其次，当鉴别器达到最优时，生成器的优化目标则为：

$\begin{array}{c}L\left(D^{\ast },g_{\theta }\right)={\displaystyle {\int }_{x~{\mathbb{P}}_r}{P}_r\left(x\right)}\log D^{\ast }\left(x\right)\text{d}x+{\displaystyle {\int }_{z~{\mathbb{P}}_g}{P}_g\left(x\right)}\log \left(1-D^{\ast }\left(g_{\theta }\left(z\right)\right)\right)\text{d}z\\ ={\displaystyle {\int }_x\left[P_r\left(x\right)\log D^{\ast }\left(x\right)+P_g\left(x\right)\log \left(1-D^{\ast }\left(x\right)\right)\right]\text{d}x}\\ ={\displaystyle {\int }_x[\left(\log 2-\log 2\right)P_r\left(x\right)+P_r\left(x\right)\log \frac{P_r\left(x\right)}{P_r\left(x\right)+P_g\left(x\right)}}\\ +\left(\log 2-\log 2\right)P_g\left(x\right)+P_g\left(x\right)\log \frac{P_g\left(x\right)}{P_r\left(x\right)+P_g\left(x\right)}]\text{d}x\\ =-\log 2{\displaystyle {\int }_x\left(P_r\left(x\right)+P_g\left(x\right)\right)\text{d}x}+{\displaystyle {\int }_x[P_r\left(x\right)\left(\log 2+\log \frac{P_r\left(x\right)}{P_r\left(x\right)+P_g\left(x\right)}\right)}\\ +P_g\left(x\right)\left(\log 2+\log \frac{P_g\left(x\right)}{P_r\left(x\right)+P_g\left(x\right)}\right)]\text{d}x\\ =-2\log 2+{\displaystyle {\int }_x\left[P_r\left(x\right)\log \frac{2P_r\left(x\right)}{P_r\left(x\right)+P_g\left(x\right)}+P_g\left(x\right)\log \frac{2P_g\left(x\right)}{P_r\left(x\right)+P_g\left(x\right)}\right]\text{d}x}\\ =-2\log 2+KL\left({\mathbb{P}}_r\left(x\right)\parallel \frac{{\mathbb{P}}_r\left(x\right)+{\mathbb{P}}_g\left(x\right)}{2}\right)+KL\left({\mathbb{P}}_g\left(x\right)\parallel \frac{{\mathbb{P}}_r\left(x\right)+{\mathbb{P}}_g\left(x\right)}{2}\right)\\ =-2\log 2+2JSD\left({\mathbb{P}}_r\left(x\right)\parallel {\mathbb{P}}_g\left(x\right)\right)\end{array}$ (2.4)

通过以上分析可得，当鉴别器达到最优时，整个GANs的目标(2.1)就变为了最小化真实分布和生成分布的JS散度。因此，理论上，期望首先将鉴别器训练得尽可能接近最优值，然后关于$\theta$ 进行梯度下降，交替进行这两步。然而，在实践中，随着鉴别器训练得越来越好，生成器更新会变得越来越糟。这个问题主要是由损失函数饱和引起的。

3. WGAN稳定性的理论证明

本章主要证明WGAN通过最小化Wassertein距离替代JS散度作为GANs训练的目标函数，避免了梯度消失的问题。WGAN的关键优势在于它采用了1-Lipschitz连续的判别器(critic)，这确保了在训练过程中，生成器始终能够从判别器那里获得有效的梯度。这一改进使得GANs的训练变得更加稳定，并且由于WGAN的目标函数使得生成器不会专注于某些模式，而是更均匀地逼近真实分布，因此显著减少模式崩溃问题。

3.1. 问题描述

为了解决JS散度在训练中带来的问题，Arjovsky等人[4] [5]引入了Wassertein-1距离作为衡量两个分布之间差异的指标。并采用Kantorovich-Rubinstein对偶性将其转化为一个可解的优化问题，其中对偶形式要求判别器(critic)是1-Lipschitz函数，这相当于在函数判别器上加了一个平滑约束，使其不会变化太快。

3.2. Wasserstein距离的理论优越性

对比多种概率分布之间的距离衡量指标，包括TV距离、KL散度、JS散度和W距离。W距离比其他距离或者散度具有更好的理论性质，提供有意义的梯度，可以正确衡量两个分布之间的距离。衡量分布之间的距离或者散度的不同指标最根本的区别在于它们对概率分布序列收敛的影响。

下面将具体说明W距离具有的优良性质：

首先通过一个示例说明概率分布序列如何在W距离下收敛，而在其他距离和散度下却不收敛。

Figure 1. Function graphs of W distance and JS divergence with respect to $\theta$

图1. W距离和JS散度关于$\theta$ 的函数图像

例3.1 设$\mathbb{Z}~U\left[0,1\right]$ 是单位区间上的均匀分布。${\mathbb{P}}_0$ 是二维空间$\left(0,\mathbb{Z}\right)\in {ℝ}^2$ 上的分布(x轴是0，y轴是随机变量$\mathbb{Z}$ )，在通过原点的垂直直线上均匀分布。令$g_{\theta }\left(z\right)=\left(\theta ,z\right)$ ，其中$\theta$ 是单个实参数。在这种情况下，有：

 $W\left({\mathbb{P}}_0,{\mathbb{P}}_{\theta }\right)=\left|\theta \right|$ ；

 $JS\left({\mathbb{P}}_0,{\mathbb{P}}_{\theta }\right)=\{\begin{array}{l}\log 2,\theta \ne 0\\ 0,\theta =0\end{array}$ ；

 $KL\left({\mathbb{P}}_0\parallel {\mathbb{P}}_{\theta }\right)=KL\left({\mathbb{P}}_{\theta }\parallel {\mathbb{P}}_0\right)=\{\begin{array}{l}+\infty ,\theta \ne 0\\ 0,\theta =0\end{array}$ ；

 $\delta \left({\mathbb{P}}_0,{\mathbb{P}}_{\theta }\right)=\{\begin{array}{l}1,\theta \ne 0\\ 0,\theta =0\end{array}$ 。

当${\theta }_t\to 0$ 时，分布序列${\left({\mathbb{P}}_{{\theta }_t}\right)}_{t\in N}$ 在W距离下收敛，但在JS散度、KL散度、逆KL散度和TV距离下均不收敛。如图1所示。

由以上示例可以看出，可以通过对W距离进行梯度下降来学习低维流形上的概率分布。而对于其他距离和散度，这是无法实现的，因为由此产生的损失函数是不连续的。

那么接下来我们考虑在简单的假设下，W距离对于分布${\mathbb{P}}_g$ 和${\mathbb{P}}_r$ 是否也是$\theta$ 上的连续损失函数：

定理3.1 令${\mathbb{P}}_r$ 为$\chi$ 上的固定分布。令$z$ 为另一个空间$\mathcal{Z}$ 上的随机变量(例如高斯变量)。令${\mathbb{P}}_g$ 表示$g_{\theta }\left(z\right)$ 的分布，其中$g:\left(z,\theta \right)\in \mathcal{Z}\times {ℝ}^d\mapsto g_{\theta }\left(z\right)\in \mathcal{X}$ 。则，

1) 如果$g$ 关于$\theta$ 连续，则$W\left({\mathbb{P}}_r,{\mathbb{P}}_g\right)$ 也关于$\theta$ 连续。

2) 如果$g$ 局部服从Lipschitz函数且满足上述假设1)的规律性，则$W\left({\mathbb{P}}_r,{\mathbb{P}}_g\right)$ 在各处连续，且几乎在各处可微。

3) 对于Jensen-Shannon散度$JS\left({\mathbb{P}}_r,{\mathbb{P}}_g\right)$ 和所有KL散度，陈述1)~2)都是错误的。

证明 以下将逐条证明。

1) 令$\theta$ 和${\theta }^{\prime }$ 为${ℝ}^d$ 中的两个参数向量。首先可以约束$W\left({\mathbb{P}}_{g_{\theta }},{\mathbb{P}}_{g_{{\theta }^{\prime }}}\right)$ ，由此再证明定理。证明的主要元素是耦合$\gamma$ 的使用，即联合$\left(g_{\theta }\left(z\right),g_{{\theta }^{\prime }}\left(z\right)\right)$ 的分布，显然有$\gamma \in \prod \left({\mathbb{P}}_{g_{\theta }},{\mathbb{P}}_{g_{{\theta }^{\prime }}}\right)$ 。

根据W距离的定义，有

$\begin{array}{c}W\left({\mathbb{P}}_{g_{\theta }},{\mathbb{P}}_{g_{{\theta }^{\prime }}}\right)\le {\displaystyle {\int }_{\chi \times \chi }\Vert x-y\Vert \text{d}\gamma }\\ ={\mathbb{E}}_{\left(x,y\right)~\gamma }\left[\Vert x-y\Vert \right]\\ ={\mathbb{E}}_z\left[\Vert g_{\theta }\left(z\right)-g_{{\theta }^{\prime }}\left(z\right)\Vert \right]\end{array}$ (3.1)

如果$g$ 关于$\theta$ 连续，则$g_{\theta }{\left(z\right)}_{\theta \to {\theta }^{\prime }}\to g_{{\theta }^{\prime }}\left(z\right)$ ，故作为$z$ 的函数逐点有$\Vert g_{\theta }\left(z\right)-g_{{\theta }^{\prime }}\left(z\right)\Vert \to 0$ 。由于$\chi$ 是紧集，那么其中任意两个元素的距离由固定常数M均匀地限制，因此对于所有的$\theta$ 和$z$ ，有$\Vert g_{\theta }\left(z\right)-g_{{\theta }^{\prime }}\left(z\right)\Vert \le M$ 。通过有界收敛定理，有

$W\left({\mathbb{P}}_{g_{\theta }},{\mathbb{P}}_{g_{{\theta }^{\prime }}}\right)\le {\mathbb{E}}_z\left[\Vert g_{\theta }\left(z\right)-g_{{\theta }^{\prime }}\left(z\right)\Vert \right]{\to }_{\theta \to {\theta }^{\prime }}0$ . (3.2)

最后，可以得出：

$\left|W\left({\mathbb{P}}_r,{\mathbb{P}}_{g_{\theta }}\right)-W\left({\mathbb{P}}_r,{\mathbb{P}}_{g_{{\theta }^{\prime }}}\right)\right|\le W\left({\mathbb{P}}_{g_{\theta }},{\mathbb{P}}_{g_{{\theta }^{\prime }}}\right){\to }_{\theta \to {\theta }^{\prime }}0$ (3.3)

即证明了$W\left({\mathbb{P}}_r,{\mathbb{P}}_{g_{\theta }}\right)$ 关于$\theta$ 的连续性。

2) 令$g$ 服从局部Lipschitz，那么对于给定的$\left(\theta ,z\right)$ 对，存在一个常数$L\left(\theta ,z\right)$ 和一个开集U，使得$\left(\theta ,z\right)\in U$ ，这样对于任意$\left({\theta }^{\prime },z^{\prime }\right)$ ，都有

$\Vert g_{\theta }\left(z\right)-g_{{\theta }^{\prime }}\left(z^{\prime }\right)\Vert \le L\left(\theta ,z\right)\left(\Vert \theta -{\theta }^{\prime }\Vert +\Vert z-z^{\prime }\Vert \right)$ (3.4)

当$\left({\theta }^{\prime },z^{\prime }\right)\in U$ 时，对两边取期望并且令$z=z^{\prime }$ ，可以得到

${\mathbb{E}}_z\Vert g_{\theta }\left(z\right)-g_{{\theta }^{\prime }}\left(z^{\prime }\right)\Vert \le {\mathbb{E}}_z\left[L\left(\theta ,z\right)\right]\Vert \theta -{\theta }^{\prime }\Vert$ (3.5)

因此我们可以定义$U_{\theta }=\left\{{\theta }^{\prime }|\left({\theta }^{\prime },z\right)\in U\right\}$ 。由于U是开集，故$U_{\theta }$ 也是开集。因此，根据假设1)，可以定义$L\left(\theta \right)={\mathbb{E}}_z\left[L\left(\theta ,z\right)\right]$ ，并且可以得到：

$\left|W\left({\mathbb{P}}_r,{\mathbb{P}}_{g_{\theta }}\right)-W\left({\mathbb{P}}_r,{\mathbb{P}}_{g_{{\theta }^{\prime }}}\right)\right|\le W\left({\mathbb{P}}_{g_{\theta }},{\mathbb{P}}_{g_{{\theta }^{\prime }}}\right)\le {\mathbb{E}}_z\Vert g_{\theta }\left(z\right)-g_{{\theta }^{\prime }}\left(z\right)\Vert \le L\left(\theta \right)\Vert \theta -{\theta }^{\prime }\Vert$ (3.6)

故，对于任意${\theta }^{\prime }\in U_{\theta }$ ，$W\left({\mathbb{P}}_r,{\mathbb{P}}_g\right)$ 也服从局部Lipschitz。显然$W\left({\mathbb{P}}_r,{\mathbb{P}}_g\right)$ 处处连续，并且根据Radamacher’s theorem它也几乎处处可微。

3) 对于JS散度和KL散度有：

$JS\left({\mathbb{P}}_0,{\mathbb{P}}_{\theta }\right)=\{\begin{array}{ll}\log 2\hfill & \theta \ne 0\hfill \\ 0\hfill & \theta =0\hfill \end{array}$

$KL\left({\mathbb{P}}_0\parallel {\mathbb{P}}_{\theta }\right)=KL\left({\mathbb{P}}_{\theta }\parallel {\mathbb{P}}_0\right)=\{\begin{array}{ll}+\infty ,\hfill & \theta \ne 0\hfill \\ 0,\hfill & \theta =0\hfill \end{array}$

当$\theta \to 0$ 时，JS散度和KL散度均不连续。

证毕。由以上证明可知，W距离在分布${\mathbb{P}}_g$ 和${\mathbb{P}}_r$ 下仍是关于$\theta$ 的连续函数。因此，通过最小化W距离进行学习对于神经网络来说是有意义的。

推论1 假设$g_{\theta }$ 为任意由$\theta$ 参数化的前馈神经网络，$p\left(z\right)$ 为$z$ 上的先验，满足${\mathbb{E}}_{z~p\left(z\right)}\left[\Vert z\Vert \right]<\infty$ (例如高斯、均匀等)。则假设1)得到满足，因此$W\left({\mathbb{P}}_r,{\mathbb{P}}_g\right)$ 处处连续，且几乎处处可微。

证明 从光滑非线性情况着手，因为$g$ 是关于$\left(\theta ,z\right)$ 的一阶连续可微函数$C^1$ ，那么对于任意固定的$\left(\theta ,z\right)$ ，有$L\left(\theta ,z\right)\le \Vert {\nabla }_{\theta ,z}{g}_{\theta }\left(z\right)\Vert +\epsilon$ 是所有$\epsilon >0$ 可接受的局部Lipschitz常数。因此，我们只需证明：

${\mathbb{E}}_{z~p\left(z\right)}\left[\Vert {\nabla }_{\theta ,z}{g}_{\theta }\left(z\right)\Vert \right]<\infty$ (3.7)

若H是前馈神经网络的层数，有

${\nabla }_{\theta ,z}{g}_{\theta }\left(z\right)={\displaystyle {\prod }_{k=1}^H{W}_k{D}_k}$ (3.8)

其中，$W_k$ 是权重矩阵，$D_k$ 是非线性的对角雅可比矩阵。

令$f_{i:j}$ 是从$i$ 层到$j$ 层的激活函数，因此有：

${\nabla }_{W_k}{g}_{\theta }\left(z\right)=\left(\left({\displaystyle {\prod }_{i=k+1}^H{W}_i{D}_i}\right)D_k\right)f_{1:k-1}\left(z\right)$ (3.9)

如果$L$ 是非线性的Lipschitz常数，那么有$\Vert D_i\Vert \le L$ 和$\Vert f_{1:k-1}\left(z\right)\Vert \le \Vert z\Vert L^{k-1}{\displaystyle {\prod }_{i=1}^{k-1}{W}_i}$ ，把它们整合到一起

$\begin{array}{c}\Vert {\nabla }_{z,\theta }{g}_{\theta }\left(z\right)\Vert \le \Vert {\displaystyle \prod _{i=1}^H{W}_i{D}_i}\Vert +{\displaystyle \sum _{k=1}^H\Vert \left(\left({\displaystyle \prod _{i=k+1}^H{W}_i{D}_i}\right)D_k\right)f_{i:k-1}\left(z\right)\Vert }\\ \le L^H{\displaystyle \prod _{i=1}^H\Vert W_i\Vert }+{\displaystyle \sum _{k=1}^H\Vert z\Vert L^H}\left({\displaystyle \prod _{i=1}^{k-1}\Vert W_i\Vert }\right)\left({\displaystyle \prod _{i=k+1}^H\Vert W_i\Vert }\right)\end{array}$ (3.10)

令$C_1\left(\theta \right)=L^H{\displaystyle \prod _{i=1}^H\Vert W_i\Vert }$ 和$C_2\left(\theta \right)={\displaystyle \sum _{k=1}^H{L}^H}\left({\displaystyle \prod _{i=1}^{k-1}\Vert W_i\Vert }\right)\left({\displaystyle \prod _{i=k+1}^H\Vert W_i\Vert }\right)$ ，

则有：

${\mathbb{E}}_{z~p\left(z\right)}\left[\Vert {\nabla }_{z,\theta }{g}_{\theta }\left(z\right)\Vert \right]=C_1\left(\theta \right)+C_2\left(\theta \right){\mathbb{E}}_{z~p\left(z\right)}\left[\Vert z\Vert \right]<\infty$ (3.11)

证毕。以上定理和推论都表明W距离是比JS散度更加合理的成本函数。接下来进一步证明W距离相较于TV距离、KL散度和JS散度具有最弱的拓扑结构强度。

定理3.2 设$\mathbb{P}$ 为紧空间$\chi$ 上的分布，${\left({\mathbb{P}}_n\right)}_{n\in N}$ 为$\chi$ 上的分布序列。然后，考虑当$n\to \infty$ 时的所有极限，

1) 以下语句是等效的

$\delta \left({\mathbb{P}}_n,\mathbb{P}\right)\to 0$ ，其中$\delta$ 为总变差距离(TV距离)；

$JS\left({\mathbb{P}}_n,\mathbb{P}\right)\to 0$ ，其中$JS$ 为JS散度。

2) 以下语句是等效的

$W\left({\mathbb{P}}_n,\mathbb{P}\right)\to 0;$

$\left({\mathbb{P}}_n\stackrel{D}{\to }\mathbb{P}\right)\to 0$ ，其中$\stackrel{D}{\to }$ 表示随机变量依分布收敛。

3) $KL\left({\mathbb{P}}_n\left|\right|\mathbb{P}\right)\to 0$ 或者$KL\left(\mathbb{P}\left|\right|{\mathbb{P}}_n\right)\to 0$ 意味着陈述1)。

4) 1)中的陈述蕴涵2)中的陈述。

证明 以下将逐条证明。

1) 首先证明$\delta \left({\mathbb{P}}_n,\mathbb{P}\right)\to 0$ $\Rightarrow$ $JS\left({\mathbb{P}}_n,\mathbb{P}\right)\to 0$ 。

令${\mathbb{P}}_m=\frac{1}{2}{\mathbb{P}}_n+\frac{1}{2}\mathbb{P}$ (${\mathbb{P}}_m$ 取决于$n$ )是混合分布，根据TV距离定义可以证明$\delta \left({\mathbb{P}}_m,{\mathbb{P}}_n\right)\le \delta \left({\mathbb{P}}_n,\mathbb{P}\right)$ ，且当$\delta \left({\mathbb{P}}_n,\mathbb{P}\right)\to 0$ 时，有$\delta \left({\mathbb{P}}_m,{\mathbb{P}}_n\right)\to 0$ 。

取$f_n=\frac{\text{d}{\mathbb{P}}_n}{\text{d}{\mathbb{P}}_m}$ 为${\mathbb{P}}_m$ 和${\mathbb{P}}_n$ 之间的Radon-Nykodim导数，通过构造对于每一个Borel集A有${\mathbb{P}}_n\left(A\right)\le 2{\mathbb{P}}_m\left(A\right)$ ，若$A=\left\{f_n>3\right\}$ ，可以得到：

${\mathbb{P}}_n\left(A\right)={\displaystyle {\int }_A{f}_n}\text{d}{\mathbb{P}}_m\ge 3{\mathbb{P}}_m\left(A\right)$ (3.12)

于是由$3{\mathbb{P}}_m\left(A\right)\le {\mathbb{P}}_n\left(A\right)\le 2{\mathbb{P}}_m\left(A\right)$ ，可得：${\mathbb{P}}_m\left(A\right)=0$ 。

可以通过任意大于2的常数得到上述结果，在此我们取常数3。

取固定的$\epsilon >0$ ，和$A_n=\left\{f_n>1+\epsilon \right\}$ ，于是有：

${\mathbb{P}}_n\left(A_n\right)={\displaystyle {\int }_{A_n}{f}_n}\text{d}{\mathbb{P}}_m\ge \left(1+\epsilon \right){\mathbb{P}}_m\left(A_n\right)$ (3.13)

又

$\begin{array}{c}\epsilon {\mathbb{P}}_m\left(A_n\right)\le {\mathbb{P}}_n\left(A_n\right)-{\mathbb{P}}_m\left(A_n\right)\\ \le \left|{\mathbb{P}}_n\left(A_n\right)-{\mathbb{P}}_m\left(A_n\right)\right|\\ \le \delta \left({\mathbb{P}}_m,{\mathbb{P}}_n\right)\\ \le \delta \left({\mathbb{P}}_n,\mathbb{P}\right)\end{array}$ (3.14)

故

${\mathbb{P}}_m\left(A_n\right)\le \frac{1}{\epsilon }\delta \left({\mathbb{P}}_n,\mathbb{P}\right)$ (3.15)

此外，

$\begin{array}{c}{\mathbb{P}}_n\left(A_n\right)\le {\mathbb{P}}_m\left(A_n\right)+\left|{\mathbb{P}}_n\left(A_n\right)-{\mathbb{P}}_m\left(A_n\right)\right|\\ \le \frac{1}{\epsilon }\delta \left({\mathbb{P}}_n,\mathbb{P}\right)+\delta \left({\mathbb{P}}_n,{\mathbb{P}}_m\right)\\ \le \frac{1}{\epsilon }\delta \left({\mathbb{P}}_n,\mathbb{P}\right)+\delta \left({\mathbb{P}}_n,\mathbb{P}\right)\\ \le \left(\frac{1}{\epsilon }+1\right)\delta \left({\mathbb{P}}_n,\mathbb{P}\right)\end{array}$ (3.16)

于是根据上述不等式可以得出：

$\begin{array}{c}KL\left({\mathbb{P}}_n\parallel {\mathbb{P}}_m\right)={\displaystyle \int \log \left(f_n\right)\text{d}{\mathbb{P}}_n}\\ \le \log \left(1+\epsilon \right)+{\displaystyle {\int }_{A_n}\log \left(f_n\right)\text{d}{\mathbb{P}}_n}\\ \le \log \left(1+\epsilon \right)+\log 3{\mathbb{P}}_n\left(A_n\right)\\ \le \log \left(1+\epsilon \right)+\log 3\left(\frac{1}{\epsilon }+1\right)\delta \left({\mathbb{P}}_n,\mathbb{P}\right)\end{array}$ (3.17)

对于任意的$\epsilon >0$ ，对不等式两边取上极限，可得

$0\le \lim \sup KL\left({\mathbb{P}}_n\parallel {\mathbb{P}}_m\right)\le \log \left(1+\epsilon \right)+0$ (3.18)

即$KL\left({\mathbb{P}}_n\parallel {\mathbb{P}}_m\right)\to 0$ 。

同理，我们可以定义$g_n=\frac{\text{d}\mathbb{P}}{\text{d}{\mathbb{P}}_m}$ ，且令$B=\left\{g_n>3\right\}$ ，于是有$3{\mathbb{P}}_m\left(B\right)\le \mathbb{P}\left(B\right)\le 2{\mathbb{P}}_m\left(B\right)$ ，从而有${\mathbb{P}}_m\left(B\right)=0$ 。进一步令$B_n=\left\{g_n>1+\epsilon \right\}$ 有：

$\mathbb{P}\left(B_n\right)={\displaystyle {\int }_{B_n}{g}_n}\text{d}{\mathbb{P}}_m\ge \left(1+\epsilon \right){\mathbb{P}}_m\left(B_n\right)$ (3.19)

于是有：

${\mathbb{P}}_m\left(B_n\right)\le \frac{1}{\epsilon }\delta \left(\mathbb{P},{\mathbb{P}}_m\right)$ (3.20)

又

$\begin{array}{c}\mathbb{P}\left(B_n\right)\le {\mathbb{P}}_m\left(B_n\right)+\left|\mathbb{P}\left(B_n\right)-{\mathbb{P}}_m\left(B_n\right)\right|\\ \le \frac{1}{\epsilon }\delta \left(\mathbb{P},{\mathbb{P}}_m\right)+\delta \left(\mathbb{P},{\mathbb{P}}_m\right)\\ \le \left(\frac{1}{\epsilon }+1\right)\delta \left(\mathbb{P},{\mathbb{P}}_m\right)\end{array}$ (3.21)

故且当$\delta \left(\mathbb{P},{\mathbb{P}}_m\right)\to 0$ 时，$\mathbb{P}\left(B_n\right)\to 0$ 。

根据上述可得：

$\begin{array}{c}KL\left(\mathbb{P}\parallel {\mathbb{P}}_m\right)={\displaystyle \int \log \left(g_n\right)\text{d}\mathbb{P}}\\ \le \log \left(1+\epsilon \right)+{\displaystyle {\int }_{B_n}\log \left(g_n\right)\text{d}\mathbb{P}}\\ \le \log \left(1+\epsilon \right)+\log 3\mathbb{P}\left(B_n\right)\\ \le \log \left(1+\epsilon \right)+\log 3\left(\frac{1}{\epsilon }+1\right)\delta \left(\mathbb{P},{\mathbb{P}}_m\right)\end{array}$ (3.22)

对两边取上极限得$0\le \lim \sup KL\left(\mathbb{P}\parallel {\mathbb{P}}_m\right)\le \log \left(1+\epsilon \right)$ ，即$KL\left(\mathbb{P}\parallel {\mathbb{P}}_m\right)\to 0$ 。

最后，

$JS\left({\mathbb{P}}_n,\mathbb{P}\right)=\frac{1}{2}KL\left({\mathbb{P}}_n\parallel {\mathbb{P}}_m\right)+\frac{1}{2}KL\left(\mathbb{P}\parallel {\mathbb{P}}_m\right)\to 0$ (3.23)

即证得$\delta \left({\mathbb{P}}_n,\mathbb{P}\right)\to 0$ $\Rightarrow$ $JS\left({\mathbb{P}}_n,\mathbb{P}\right)\to 0$ 。

接下来证明$JS\left({\mathbb{P}}_n,\mathbb{P}\right)\to 0$ $\Rightarrow$ $\delta \left({\mathbb{P}}_n,\mathbb{P}\right)\to 0$ 。

根据三角不等和Pinsker不等式有

$\begin{array}{c}\delta \left({\mathbb{P}}_n,\mathbb{P}\right)\le \delta \left({\mathbb{P}}_n,{\mathbb{P}}_m\right)+\delta \left(\mathbb{P},{\mathbb{P}}_m\right)\\ \le \sqrt{\frac{1}{2}KL\left({\mathbb{P}}_n\parallel {\mathbb{P}}_m\right)}+\sqrt{\frac{1}{2}KL\left(\mathbb{P}\parallel {\mathbb{P}}_m\right)}\\ \le 2\sqrt{JS\left({\mathbb{P}}_n,\mathbb{P}\right)}\end{array}$ (3.24)

即当$JS\left({\mathbb{P}}_n,\mathbb{P}\right)\to 0$ 时，有$\delta \left({\mathbb{P}}_n,\mathbb{P}\right)\to 0$ 。

2) 根据W距离的拓扑性知，如果$W\left({\mathbb{P}}_n,\mathbb{P}\right)\to 0$ ，则${\mathbb{P}}_n$ 在弱拓扑意义下收敛到$\mathbb{P}$ 。

3) 根据Pinsker不等式可得：

$\begin{array}{l}\delta \left({\mathbb{P}}_n,\mathbb{P}\right)\le \sqrt{\frac{1}{2}KL\left({\mathbb{P}}_n\parallel \mathbb{P}\right)}\to 0\\ \delta \left(\mathbb{P},{\mathbb{P}}_n\right)\le \sqrt{\frac{1}{2}KL\left(\mathbb{P}\parallel {\mathbb{P}}_n\right)}\to 0\end{array}$ (3.25)

故$KL\left({\mathbb{P}}_n\left|\right|\mathbb{P}\right)\to 0$ 或者$KL\left(\mathbb{P}\left|\right|{\mathbb{P}}_n\right)\to 0$ 可以推出陈述1)。

4) TV距离诱导是一种强拓扑，意味着当$\delta \left({\mathbb{P}}_n,\mathbb{P}\right)\to 0$ 时，则${\mathbb{P}}_n$ 几乎处处收敛到$\mathbb{P}$ 。而W距离诱导了一种比TV距离弱的拓扑结构，如果$W\left({\mathbb{P}}_n,\mathbb{P}\right)\to 0$ ，则${\mathbb{P}}_n$ 在弱拓扑意义下收敛到$\mathbb{P}$ ，适用于支撑集不同的分布。即如果${\mathbb{P}}_n\to \mathbb{P}$ 在TV距离下收敛，则在W距离下也一定收敛。

由以上定理3.1、定理3.2和推论1表明分布${\mathbb{P}}_r$ 和${\mathbb{P}}_g$ 在W距离的定义下可以具有良好的连续性、可微性以及收敛性。故在学习低维流形支持的分布时，TV距离、KL散度和JS散度都不是合理的损失函数，然而W距离具有良好的性质，使用W距离更为合理。

3.3. Wassertein WGAN (WGAN)

在上一部分我们证明了W距离具有良好的理论性质，故选择W距离作为衡量分布${\mathbb{P}}_g$ 和${\mathbb{P}}_r$ 之间的差异的指标更为合理，但是直接计算W距离的代价太大，因此利用Kantorovich-Rubinstein对偶性，将Wasserstein距离的计算转化为一个可解的优化问题：

$W\left({\mathbb{P}}_r,{\mathbb{P}}_g\right)={\sup }_{{\Vert f\Vert }_L\le 1}{\mathbb{E}}_{x~{\mathbb{P}}_r}\left[f\left(x\right)\right]-{\mathbb{E}}_{x~{\mathbb{P}}_g}\left[f\left(x\right)\right]$ (3.26)

其中，$\Vert f\Vert \le 1$ 表示函数$f\left(x\right)$ 满足1-Lipschitz连续。式(3.26)这个形式是WGAN的关键，可以利用神经网络来拟合这个$f$ ，即该对偶形式将最优化问题变成了寻找最佳Lipschitz函数$f$ 的问题。

引入模型：

WGAN中生成器为$G_{\theta }\left(z\right)$ ，把噪声$z~{\mathbb{P}}_z$ 映射到生成样本$g_{\theta }\left(z\right)~{\mathbb{P}}_g$ 。

基于对偶形式，将Wasserstein距离写为：

$W\left({\mathbb{P}}_r,{\mathbb{P}}_g\right)=\underset{\Vert f\Vert \le 1}{\sup }{\mathbb{E}}_{x~{\mathbb{P}}_r}\left[f_{\omega }\left(x\right)\right]-{\mathbb{E}}_{z~{\mathbb{P}}_g}\left[f_{\omega }\left(g_{\theta }\left(z\right)\right)\right]$ (3.27)

其中，$f$ 是判别器网络$f_{\omega }$ 的输出，训练$f_{\omega }$ 以最大化式(3.33)，即估计Wasserstein距离。同时训练$g_{\theta }\left(z\right)$ 来最小化式(3.27)。于是，得到WGAN的最终min-max目标函数为：

$\underset{\theta }{\min }\underset{\omega \in \mathcal{W}}{\max }{\mathbb{E}}_{x~{\mathbb{P}}_r}\left[f_{\omega }\left(x\right)\right]-{\mathbb{E}}_{z~{\mathbb{P}}_g}\left[f_{\omega }\left(g_{\theta }\left(z\right)\right)\right]$ (3.28)

其中，$\theta$ 是生成器G的参数，$\omega$ 是判别器的参数(神经网络的权重)，$\mathcal{W}$ 是满足1-Lipschitz条件的判别器参数集合，$f_{\omega }\left(x\right)$ 是判别器的输出。

Kantorovich-Rubinstein对偶要求$f$ 是1-Lipschitz函数。为了保证这一点，可以训练一个参数化的神经网络，使其权重$\omega$ (神经网络参数)位于紧空间$\mathcal{W}$ 中。为了使参数$\omega$ 位于紧空间中，可以每次梯度更新后将权重限制在一个固定的阈值范围内。即采用权重裁剪的方式来近似这个约束：$\omega \leftarrow \text{clip}\left(\omega ,-c,c\right)$ 。

本章小结

通过引入Wassertein距离，WGAN在理论上和实践中都显著改善了传统GANs训练稳定性和生成质量，这一改进为生成模型的研究和应用开辟了新的方向，具有重要的理论意义和实际价值。

W距离是连续且可微的(1-Lipschitz函数)，这意味着可以训练判别器直到达到最优。因为W距离处处可微，所以对判别器训练得越多，得到的Wassertein梯度就越可靠。

其次，训练判别器直到达到最优，没有发生模式崩溃问题是因为，WGAN的目标函数使得生成器不会集中在少数几个模式上，而是更全面地学习整个数据分布。而传统GANs，最优生成器是鉴别器赋予最高值的点的增量之和，主要专注于个别模式。

综上，通过引入Wassertein距离，WGAN有效缓解了GANs训练中出现的梯度消失问题和模式崩溃问题，使训练变得更加稳定，生成高质量样本。

4. WGAN-GP的梯度惩罚常数

4.1. 问题描述

在标准WGAN中为了对判别器实施Lipschitz约束，使其保证连续性，对判别器的权重矩阵进行了权重裁剪。但是权重裁剪会导致两大问题：弱化模型建模能力，以及梯度爆炸和消失。为了改进以上问题，Gulrajani等人[7]提出了在目标函数中加入梯度惩罚的替代方法，但是大部分关于加入惩罚项的GANs训练文献都专注于实验验证，缺乏理论解释，本章将对其进行数学推导。

4.2. WGAN-GP和Lipschitz约束

为了解决权重裁剪强约束带来的不良行为，现在提出一种实施Lipschitz约束的替代方法。当且仅当可微函数的梯度在任何地方都不超过1时，它才是1-Lipschtiz的，因此直接约束判别器相对于其输入的梯度范数，对随机样本的梯度范数施加惩罚。

具体而言，在原始目标函数中引入以下正则项：

$L_{GP}=\lambda {{\rm E}}_{\widehat{x}~{\mathbb{P}}_{\widehat{g}}}\left[{\left({\Vert {\nabla }_{\widehat{x}}D\left(\widehat{x}\right)\Vert }_2-1\right)}^2\right]$ (4.1)

其中，$x$ 是从真实样本$x~{\mathbb{P}}_r$ 和生成样本$\tilde{x}~{\mathbb{P}}_g$ 之间随机线性插值得到的样本点，即：

$\widehat{x}=\epsilon x+\left(1-\epsilon \right)\tilde{x}$ ， (4.2)

其中，$\epsilon ~U\left[0.1\right]$ ，$\lambda$ 是惩罚系数。

接下来，将会具体证明梯度惩罚系数为什么取1。

定理4.1 令${\mathbb{P}}_r$ 、${\mathbb{P}}_g$ 为紧空间$\chi$ 上的两个分布，则存在一个1-Lipschitz函数$f^{\ast }$ 是${\max }_{{\Vert f\Vert }_{L\le 1}}{\mathbb{E}}_{y~{\mathbb{P}}_r}\left[f\left(x\right)\right]-{\mathbb{E}}_{y~{\mathbb{P}}_g}\left[f\left(x\right)\right]$ 的最优解。$\pi \left(x,y\right)$ 是${\mathbb{P}}_r$ 和${\mathbb{P}}_g$ 之间的最优耦合，$\Pi \left({\mathbb{P}}_r,{\mathbb{P}}_g\right)$ 是联合分布$\pi \left(x,y\right)$ 的集合。那么，如果$f^{\ast }$ 可微，$\pi \left(x=y\right)=0$ ，$x_t=tx+\left(1-t\right)y$ ，$0\le t\le 1$ ，则有：

${\mathbb{P}}_{\left(x,y\right)~\pi }\left[\nabla f^{\ast }\left(x_t\right)=\frac{y-x_t}{\Vert y-x_t\Vert }\right]=1$ 。 (4.3)

证明 因为$\chi$ 是紧空间，由[10]知${\max }_{{\Vert f\Vert }_{L\le 1}}{\mathbb{E}}_{y~P_r}\left[f\left(x\right)\right]-{\mathbb{E}}_{x~P_g}\left[f\left(x\right)\right]$ 存在最优解$f^{\ast }$ ，且$\pi \left(x,y\right)$ 是最优耦合，有

${\mathbb{P}}_{\left(x,y\right)~\pi }\left[f^{\ast }\left(y\right)-f^{\ast }\left(x\right)=\Vert y-x\Vert \right]=1$ (4.4)

令$\left(x,y\right)$ 满足$f^{\ast }\left(y\right)-f^{\ast }\left(x\right)=\Vert y-x\Vert$ ，假设$x\ne y$ ，这在分布$\pi \left(x,y\right)$ 下发生的概率为1。令$\phi \left(t\right)=f^{\ast }\left(x_t\right)-f^{\ast }\left(x\right)$ ，首先需要证明：

$\phi \left(t\right)=\Vert x_t-x\Vert =t\Vert y-x\Vert$ . (4.5)

令$t$ 、$t^{\prime }\in \left[0,1\right]$ ，于是有：

$\left|\phi \left(t\right)-\phi \left(t^{\prime }\right)\right|=\left|f^{\ast }\left(x_t\right)-f^{\ast }\left(x_{t^{\prime }}\right)\right|\le \Vert x_t-x_{t^{\prime }}\Vert =\left|t-t^{\prime }\right|\Vert y-x\Vert$ (4.6)

因此，$\phi$ 满足$\Vert y-x\Vert$ -Lipschitz，从而有：

$\begin{array}{c}\phi \left(1\right)-\phi \left(0\right)=\left(\phi \left(1\right)-\phi \left(t\right)\right)+\left(\phi \left(t\right)-\phi \left(0\right)\right)\\ \le \left(1-t\right)\Vert y-x\Vert +t\Vert y-x\Vert \\ =\Vert y-x\Vert \end{array}$ (4.7)

但又因为

$\phi \left(1\right)-\phi \left(0\right)=f^{\ast }\left(y\right)-f^{\ast }\left(x\right)=\Vert y-x\Vert$ , (4.8)

故不等式(4.7)变为等式。

特别地，$\phi \left(t\right)-\phi \left(0\right)=t\Vert y-x\Vert$ ，又因为$\phi \left(0\right)=f^{\ast }\left(x\right)-f^{\ast }\left(x\right)$ ，

故

$\phi \left(t\right)=t\Vert y-x\Vert$ . (4.9)

引入变量v，令

$\nu =\frac{y-x_t}{\Vert y-x_t\Vert }=\frac{y-\left(\left(1-t\right)x+ty\right)}{\Vert y-\left(\left(1-t\right)x+ty\right)\Vert }=\frac{y-x}{\Vert y-x\Vert }$ (4.10)

根据$f^{\ast }\left(x_t\right)-f^{\ast }\left(x\right)=\phi \left(t\right)=t\Vert y-x\Vert$ ，可得

$f^{\ast }\left(x_t\right)=f^{\ast }\left(x\right)+t\Vert y-x\Vert$ , (4.11)

接下来，我们对$f^{\ast }\left(x_t\right)$ 求偏导：

$\begin{array}{c}\frac{\partial }{\partial \nu }{f}^{\ast }\left(x_t\right)=\underset{h\to 0}{\lim }\frac{f^{\ast }\left(x_t+h\nu \right)-f^{\ast }\left(x_t\right)}{h}\\ =\underset{h\to 0}{\lim }\frac{f^{\ast }\left(\left(1-t\right)x+ty+h\frac{y-x}{\Vert y-x\Vert }\right)-f^{\ast }\left(x_t\right)}{h}\\ =\underset{h\to 0}{\lim }\frac{f^{\ast }\left(x+t\left(y-x\right)+h\frac{y-x}{\Vert y-x\Vert }\right)-f^{\ast }\left(x_t\right)}{h}\\ =\underset{h\to 0}{\lim }\frac{f^{\ast }\left(x_{t+\frac{h}{\Vert y-x\Vert }}\right)-f^{\ast }\left(x_t\right)}{h}\\ =\underset{h\to 0}{\lim }\frac{f^{\ast }\left(x\right)+\left(t+\frac{h}{\Vert y-x\Vert }\right)\Vert y-x\Vert -\left(f^{\ast }\left(x\right)+t\Vert y-x\Vert \right)}{h}\\ =\underset{h\to 0}{\lim }\frac{h}{h}=1\end{array}$ (4.12)

如果$f^{\ast }$ 在$x_t$ 可微，由于$f^{\ast }$ 是1-Lipschitz函数，所以$\Vert \nabla f^{\ast }\left(x_t\right)\Vert \le 1$ 。

根据简单的Pythagoras和单位向量$v$ ，有

$\begin{array}{c}1\le {\Vert \nabla f^{\ast }\left(x\right)\Vert }^2\\ ={\langle \nu ,f^{\ast }\left(x_t\right)\rangle }^2+{\Vert \nabla f^{\ast }\left(x_t\right)-\langle \nu ,f^{\ast }\left(x_t\right)\rangle \nu \Vert }^2\\ ={\left|\frac{\partial }{\partial \nu }{f}^{\ast }\left(x_t\right)\right|}^2+{\Vert \nabla f^{\ast }\left(x_t\right)-\nu \frac{\partial }{\partial \nu }{f}^{\ast }\left(x_t\right)\Vert }^2\\ =1+{\Vert \nabla f^{\ast }\left(x_t\right)-\nu \Vert }^2\le \text{1}\end{array}$ (4.13)

由以上不等式结果可得

$1=1+{\Vert \nabla f^{\ast }\left(x_t\right)-\nu \Vert }^2$ , (4.14)

于是有${\Vert \nabla f^{\ast }\left(x_t\right)-\nu \Vert }^2=0$ 和$\nabla f^{\ast }\left(x_t\right)=\nu$ 。进而有：

$\nabla f^{\ast }\left(x_t\right)=\frac{y-x_t}{\Vert y-x_t\Vert }$ (4.15)

故最终得出在联合分布$\pi \left(x,y\right)$ 下${\mathbb{P}}_{\left(x,y\right)~\pi }\left[\nabla f^{\ast }\left(x_t\right)=\frac{y-x_t}{\Vert y-x_t\Vert }\right]=1$ 。

由以上证明可得，最优判别器包含连接${\mathbb{P}}_r$ 和${\mathbb{P}}_g$ 耦合点的梯度范数为1的直线。故通过对这些插值样本计算判别器输出关于输入的梯度，如果梯度模长偏离1，就会产生惩罚。

Figure 2. Distribution diagram of discriminator weight under weight clipping and gradient penalty

图2. 权重裁剪和梯度惩罚下判别器权重分布图

图2展示了原始WGAN强制对判别器的权重进行裁剪，压制了其表达能力，使权重朝向两个极端值靠近。而梯度惩罚则呈现出标准高斯形状，分布更自然，使网络能更好训练。

本章小结

梯度惩罚是一种修改判别器目标函数的方法，通过在目标函数中加入梯度惩罚项来避免梯度消失或者梯度爆炸的问题。这种方法相对于权重裁剪更平滑、更具鲁棒性，能够有效提升训练的稳定性和生成图像的质量。同时，由于梯度惩罚不限制网络权重的具体取值，使得可以使用更深、更复杂的网络结构，从而增强模型的表达能力。

5. 研究总结

本论文围绕生成对抗网络(GAN)训练过程中的不稳定性问题，展开了系统的理论分析。首先，从传统GAN的目标函数出发，揭示了其在使用标准损失函数时所面临的梯度消失问题。

其次，针对这一问题，论文对基于Wasserstein距离作为GANs训练的目标函数，系统地证明了其连续性、可微性与收敛性，使得生成器在判别器达到最优时仍然能够获得有效梯度，显著提升训练的稳定性和收敛性。进而在分析WGAN训练策略的基础上，对于引入梯度惩罚以取代传统的权重裁剪，从数学上严格推导了其满足Lipschitz约束的理论依据。