There will be problems when we have samples that are close to the true manifold. Assume that we have an infinitely thin manifold. The discriminator needs to produce 0 probability outside the manifold and infinite probability on the manifold. Since this is very difficult to achieve, GAN uses sigmoid and produces 0 outside the manifold and produces 1 on the manifold. The problem with this is that if we train the system successfully where we get the discriminator to produce 0 outside the manifold, the energy function is completely useless. This is because the energy function is not smooth where all energy outside the data manifold will be infinity and all energy on the data manifold will be 0. We don’t want the energy value to go from 0 to infinity in a very small step. Researchers have proposed many ways to fix this problem by regularizing the energy function. A good example of improved GAN is Wasserstein GAN which limits the size of discriminator weight.
Il y aura des problèmes lorsque nous aurons des échantillons qui seront proches de la vraie variété. Supposons que nous ayons une surface infiniment fine. Le discriminateur doit produire une probabilité de 0 à l’extérieur de la variété et une probabilité infinie sur la variété. Comme cela est très difficile à réaliser, le GAN utilise une sigmoïde pour produire 0 en dehors de la variété et 1 sur la variété. Le problème est que si nous entraînons le système avec succès en faisant en sorte que le discriminateur produise 0 en dehors de la variété, la fonction d’énergie est complètement inutile. En effet, la fonction d’énergie n’est pas homogène car toute l’énergie en dehors de la variété de données sera infinie et toute l’énergie sur la variété de données sera nulle. Nous ne voulons pas que la valeur de l’énergie passe de 0 à l’infini en un tout petit pas. Les chercheurs ont proposé de nombreux moyens pour résoudre ce problème en régularisant la fonction d’énergie. Un bon exemple de GAN amélioré est le GAN de Wasserstein qui limite la taille du poids du discriminateur.