大模型日报（10月14日 学术篇）

主要观点总结

文章介绍了关于AI学习社群、随机初始化转换器、偏好优化算法、强化学习、精确体积椭球体渲染、大型语言模型的上下文强化学习、长上下文语言模型训练以及离散扩散模型内容编辑等相关内容。同时，也提到了TextToon和DICE两种技术方法。

关键观点总结

关键观点1: AI学习社群

旨在搭建一个共享前沿知识的AI学习社群，提供一个更好的社区生态，并鼓励大家交流分享。

关键观点2: 随机初始化转换器的研究

随机初始化的转换器可以执行各种有意义的算法任务，包括模算术、权重和上下文关联调用等，表明transformer中存在一些算法功能。

关键观点3: 偏好优化算法

介绍了一种基于概率推理的偏好优化方法，能够利用正反馈和负反馈进行学习，并解决了当前基于EM的方法的关键限制。

关键观点4: 强化学习的问题

当RL策略演变为非预期行为时，KL正则化可能不再可靠控制高级RL代理的行为。提出了一种理论替代方案，即将“不要做我不会做的事”原则替换为“不要做我可能不会做的事”。

关键观点5: 精确体积椭球体渲染技术

提出了精确体积椭球体渲染方法，基于基元的表示允许精确的体积渲染。与其他方法相比，它的表现更优秀，混合问题更少。

关键观点6: 大型语言模型的上下文强化学习

研究了大型语言模型在上下文强化学习中的能力。提出了一种算法，通过增加计算来解决模型在探索中的根本缺陷。

关键观点7: 长上下文语言模型训练

研究了如何利用持续预训练的数据组合和指令调优数据集来有效地利用长上下文信息。同时，也介绍了如何评估模型的表现和如何选择最佳的训练策略。

关键观点8: 离散扩散模型内容编辑技术提升

介绍了一种创新方法DICE，它通过记录反向扩散过程中的噪声序列和掩蔽模式，实现了精确反演和灵活编辑，提升了离散扩散模型的内容编辑能力。

关键观点9: TextToon和DICE技术介绍

TextToon是一种生成可驱动的卡通化头像的方法，DICE实现了精确反演和灵活编辑，这些技术都在各自的领域具有独特的应用价值。

文章预览

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。 「奇绩大模型日报」知识库现已登陆飞书官方社区： https://www.feishu.cn/community/article/wiki?id=7355065047338450972 点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送 如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。 欢 迎 大 家 一 起 交 流 ！ 信号 ‍ 0 1 Algorithmic Capabilities of Random Transformers 已发现经过训练的 transformer 模型可以为算术和联想召回等任务实现可解释的过程，但对于实现这些过程的电路在训练期间是如何产生的知之甚少。它们在多大程度上依赖于提供给模型的监督信号，它们在多大程度上归因于训练开始时模型中已经存在的行为？为了研究这些问题，我们研究了随机初始化的转换器可以学习哪些功能，其 ………………………………