深度｜必读！ICLR 2024最佳论文精华合辑

文章预览

图片来源：Latent Space Z Highlights ICLR 2024（国际学习表征会议）5月6日于奥地利维也纳举行，会议规模空前，共2260篇论文被接受（接受率31%）。本次会议内容分为四个主要部分，包括图像生成、视觉学习、变换器和状态空间模型等话题。 Durk Kingma 和 Max Welling 谈论了自编码变分贝叶斯（Auto-Encoding Variational Bayes），这项工作引领了深度学习与可扩展概率推断的结合，产生了变分自编码器（VAE）。VAE首先假设隐变量z服从一个先验分布（通常是标准正态分布），然后通过编码器将输入数据映射到潜在空间的分布参数（均值和方差），并从这个分布中采样隐变量。解码器则根据采样得到的隐变量生成新的数据。在训练过程中，VAE会同时优化编码器对潜在分布参数的估计以及解码器根据隐变量生成数据的准确性。 Bowen Peng提出的YaRN是一种计算效率高的方法，用 ………………………………