N1H111SM's Miniverse

InfoAE - Unpublished

字数统计: 512阅读时长: 2 min
2020/06/09 Share

Materials

Motivation

该工作将 GAN 和 AE 进行了融合,虽然和InfoGAN一样提到了想要maximize MI,但是该篇工作并没有使用InfoMax或是Variational InfoMax直接对他们的MI进行优化,而是采用了一个classifier迫使encoder编码分类信息,最终文章纯粹依靠非监督信息在分类任务上取得了非常高的得分。

InfoAE

image.png

InfoAE可以分为Conditional GAN和Autoencoder两个部分,如上图所示。

Conditional GAN的部分对应于上图的红色流程+黄色流程:首先 $z$ 是prior random noise,$c$ 是latent code;在实验中取 $c$ 为 $K=10$ 的one-hot coding. 经过Generator Network $G$ 之后映射到了latent representation space $r$;接着 $r$ 通过Decoder Network得到了fake sample $\hat {x_g}$. 将 fake sample 和 true sample进行对比从而得到了GAN loss. 同时因为该方法是为了下游的分类任务服务,所以我们希望Encoder能够将分类信息进行编码。但是对于一个完全无标签的非监督学习样本$x$来说,我们是没有办法显式地为他进行分类的,唯一编码了分类信息的变量就是latent code $c$. 因此我们将得到的中间表示 $r$ 重新经过一个Classifier Network,将得到的分类结果重新映射回 $c$.

Autoencoder部分就是最简单的Reconstruction Error,对应于上图中的绿色流程。

除此之外,InfoAE 还将 Autoencoder 和 Generator 生成的 representation space进行了alignment. 具体方法也是采用GAN的discriminative training将两个分布的divergence变小。我的问题是:为什么需要将原本的input和representation进行concatenation再最小化两个分布的divergence?为什么不可以直接将两个representation进行discriminative training?

Experiments

We have evaluated the model on MNIST dataset and received outstanding results. InfoAE is trained on MNIST training data without any labels. After trainning, We encoded the test data with Encoder, E and got classification label with the Classifier, C. Then we clustered the test data according to label and received classification accuracy of 98.9 (±.05), which is better than the popular methods as shown in Table 1.

image.png

CATALOG
  1. 1. Motivation
  2. 2. InfoAE
  3. 3. Experiments