大模型日报（10月22日 学术篇）

主要观点总结

文章介绍了关于AI学习社群、新型扩散模型框架、大型语言模型的推理模式、稀疏自编码器的暗物质以及新型语言模型的相关信息。

关键观点总结

关键观点1: AI学习社群

旨在搭建一个让大家学习最前沿知识，共建更好社区生态的AI学习社群。提供了相关链接供读者参与和交流。

关键观点2: 新型扩散模型框架

介绍了一种新的扩散模型框架，用于估计具有重尾分布的数据生成。该框架通过多变量学生t分布重新构建扩散框架，解决了传统扩散模型无法捕捉重尾行为的问题。

关键观点3: 大型语言模型的推理模式

探讨了如何使大型语言模型能够处理更广泛的复杂任务。研究了OpenAI的o1模型的推理模式，并在多个推理基准测试上进行了实验和详细分析。

关键观点4: 稀疏自编码器的暗物质

研究了稀疏自编码器在分解语言模型激活时的表现，特别是其未能完全解释的“暗物质”部分。研究发现SAE的暗物质中有一部分可以通过初始激活向量线性预测。

关键观点5: 新型语言模型

介绍了Granite 3.0语言模型、Hallo2潜在扩散生成模型和Emu3多模态模型等新型语言模型的相关信息。还包括一些推荐阅读的资源。

文章预览

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。 「奇绩大模型日报」知识库现已登陆飞书官方社区： https://www.feishu.cn/community/article/wiki?id=7355065047338450972 点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送 如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。 欢 迎 大 家 一 起 交 流 ！ 信号 0 1 Heavy-Tailed Diffusion Models 这篇文章提出了一种新的扩散模型框架，用于估计具有重尾分布的数据生成。传统的扩散和流匹配模型使用标准高斯先验，无法捕捉重尾行为。文章通过使用多变量学生t分布重新构建扩散框架来解决这个问题，并开发了专门的扰动核，以及基于条件学生t分布的去噪后验。受γ-散度在重尾分布中的启发，文章推导出了重尾去噪器的训练目标。这个框 ………………………………