简介

CR-GAN 的亮点在于将双路径引入 GAN 模型中,再结合机器学习中的自监督学习 (Self-supervised Learning) ,优化效果很好。

CR-GAN 的工作过程

下面是我自己画的流程图,整个训练分为两个阶段。

符号说明

E ⇒ 编码器
G ⇒ 生成器
D ⇒ 判别器

1. 监督学习阶段

输入标记数据,获得预训练的 E, G, D。

这个过程分为两个路径,生成路径和重建路径。
生成路径更新D & G,重建路径更新D & E

需要预先设好 step & batch size

2. 自监督学习

可以同时输入标记和未标记数据,在程序中进行判断。

若为标记数据,则汇入监督学习循环

若为为标记数据,则:

  1. 用阶段1中预训练的 E 计算出对应的 $v$
  2. 估计出最接近 $v$ 的 one-hot 向量 $hat{v}$
  3. 再根据公式更新 E, G, D 完成训练

CR-GAN 的优势

由于传统的生成对抗网络为单路径框架,导致GAN的广泛使用可能会造成训练学习的不完整:生成器的encoder和decoder仅通过部分嵌入子空间Z进行沟通,如下图左侧,所以在输入陌生数据的时候,经过训练的encoder很可能会将此数据映射到Z的外面,从而导致生成器输出的不稳定。

CR-GAN 通过引入一个额外的生成路径保持了学习过程中嵌入空间的完整性,如上图右侧。这两种学习路径以参数共享的方式进行协同和竞争,再利用这种双路径框架,同时结合标记和未标记数据进行自我监督学习,大幅提高了模型对陌生数据的泛化能力,在处理与训练集差异较大的图片时优化效果显著。

参考文献

CR-GAN: Learning Complete Representations for Multi-view Generation

Tagged in:

,

About the Author

XFish

Fisher不钓鱼 川大21级在读 网络空间安全专业 7年前的围棋业余5段 素描彩铅水粉国画书法童子功拥有者 PG13?? Mamba4ever✊? ?Beginner Mahomes/KC Chiefs/NFL 爱好者? nparadigm申工智能yyds?️ 飞禽岛少年Lee Sedol’s fan?

View All Articles