大模型日报（9月9日 学术篇）

主要观点总结

文章介绍了关于AI学习社群、知识库、大模型日报、论文研究、代码LLMs表现、残余流分析、知识工作数据集生成、Sigmoid自注意力的理论等内容。同时推荐了相关的开源项目和活动链接。

关键观点总结

关键观点1: AI学习社群的建设

搭建一个AI学习社群，让大家能够学习到最前沿的知识，共建一个更好的社区生态。

关键观点2: 知识库的介绍

「奇绩大模型日报」知识库现已登陆飞书官方社区，提供每日最新的大模型日报推送。

关键观点3: 论文研究：LLM在回归中的角色及上下文示例

生成型大语言模型（LLMs）具有在上下文中学习的能力，论文提出了一个评估上下文学习机制的框架，并进行了实验验证。

关键观点4: LLM生成新颖研究想法的评估

LLM能否生成新颖的研究想法？文章进行了大规模的人类研究，得出了关于LLM在研究构思方面的第一个具有统计学意义的结论。

关键观点5:

使用高质量数据赋能代码指令微调的研究越来越受到关注。文章观察了代码模型在不同基准测试上的表现，并提出了一个有效的代码数据修剪策略。

关键观点6:

引入了多层SAE（MLSAE）进行研究Transformer中信息的流动，MLSAE同时训练每个Transformer层的残差流激活向量。

关键观点7:

当前知识工作数据集存在的问题，以及基于大语言模型生成真实的多智能体知识工作数据集的方法和系统。

关键观点8:

文章对sigmoid注意力进行了深入的理论和经验分析，并介绍了最佳实践。包括训练初期稳定大型初始注意力规范的重要性，以及FLASHSIGMOID的优势。

文章预览

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。 「奇绩大模型日报」知识库现已登陆飞书官方社区： https://www.feishu.cn/community/article/wiki?id=7355065047338450972 点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送 如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。 欢 迎 大 家 一 起 交 流 ！ 论文 0 1 Learning vs Retrieval：LLM在回归中的角色及上下文示例 生成型大语言模型（LLMs）具有在上下文中学习的能力。然而，上下文学习（ICL）的基本机制仍然是一个重要的研究问题，有关模型如何利用ICL的实验研究结果并不总是一致的。在这项工作中，我们提出了一个评估上下文学习机制的框架，我们认为这是检索内部知识并专注于回归任务上的上下文示例学习的组合。首先，我 ………………………………