深度学习生成模型(四)—— 自编码器与表征学习(五十二)

深度学习生成模型(四)—— 自编码器与表征学习(五十二) 1. 定位导航第 49-51 篇我们看完了生成模型三巨头(VAE/GAN/扩散)。本篇回到基础——自编码器(Autoencoder, AE)。自编码器 = 表征学习的"心脏":VAE 是它的"生成版本"现代对比学习、BERT、GPT 都借用了 AE 的思想Goodfellow 第 14 章开篇:自编码器是神经网络的一种,经过训练后能尝试将输入复制到输出。听起来很无聊?但通过精心设计约束,AE 能学到有意义的表征——这是整章的精华。1.1 5 大自编码器流派流派关键约束欠完备 AEh 维度 x 维度(强制压缩)稀疏 AE大部分 h 接近 0去噪 AE输入加噪