简介
CR-GAN 的亮点在于将双路径引入 GAN 模型中，再结合机器学习中的自监督学习 (Self-supervised Learning) ，优化效果很好。
CR-GAN 的工作过程
下面是我自己画的流程图，整个训练分为两个阶段。
符号说明
E ⇒ 编码器
G ⇒ 生成器
D ⇒ 判别器
1. 监督学习阶段
输入标记数据，获得预训练的 E, G, D。
这个过程分为两个路径，生成路径和重建路径。
生成路径更新D & G，重建路径更新D & E
需要预先设好 step & batch size
2. 自监督学习
可以同时输入标记和未标记数据，在程序中进行判断。
若为标记数据，则汇入监督学习循环
若为为标记数据，则：
- 用阶段1中预训练的 E 计算出对应的 $v$
- 估计出最接近 $v$ 的 one-hot 向量 $hat{v}$
- 再根据公式更新 E, G, D 完成训练
CR-GAN 的优势
由于传统的生成对抗网络为单路径框架，导致GAN的广泛使用可能会造成训练学习的不完整：生成器的encoder和decoder仅通过部分嵌入子空间Z进行沟通，如下图左侧，所以在输入陌生数据的时候，经过训练的encoder很可能会将此数据映射到Z的外面，从而导致生成器输出的不稳定。
CR-GAN 通过引入一个额外的生成路径保持了学习过程中嵌入空间的完整性，如上图右侧。这两种学习路径以参数共享的方式进行协同和竞争，再利用这种双路径框架，同时结合标记和未标记数据进行自我监督学习，大幅提高了模型对陌生数据的泛化能力，在处理与训练集差异较大的图片时优化效果显著。
参考文献
CR-GAN: Learning Complete Representations for Multi-view Generation
Show Comments
