大模型日报（9月11日 学术篇）

主要观点总结

文章介绍了关于AI学习社群、大语言模型（LLM）的相关研究、数据集和代码公开等内容。包括LLM在创意生成中的角色、后训练实践、长文本理解和推理、从LLM Token Activations中提取段落、加速LLM预训练的方法、多指机器人的模拟到真实应用等关键点，并推荐了相关项目和资源。

关键观点总结

关键观点1: AI学习社群搭建及大语言模型（LLM）的研究进展

文章介绍了搭建AI学习社群的初衷，以及LLM在科研思路生成方面的能力。在五个领域对四个LLMs进行了审查，并公开提供了数据集和代码。

关键观点2: LLM的后训练实践和额外语言混合比例的优选

文章探讨了LLM的持续预训练（CPT）以获得新技能或适应新领域的需求。通过优选超参数，对Llama-3 70B进行CPT以增强其中文能力，并研究了额外语言混合比例和学习率之间的最佳相关性。

关键观点3: 长文本理解和推理能力的提升及E2LLM的引入

文章讨论了大型语言模型在处理长文本方面的挑战，并引入了E2LLM（编码器延长大型语言模型）作为解决这一困境的新方法。该方法通过预训练文本编码器将长文本分割并压缩成嵌入向量，并利用适配器与LLM对齐。

关键观点4: 从LLM Token Activations中提取段落的方法

文章研究了从LLM的token激活中提取段落信息的方法。通过检查单个token激活中编码的信息，特别是双换行符token，展示了修补这些激活可以传递关于接下来段落上下文的重要信息。

关键观点5: 加速LLM预训练的LFR教学法

文章提出了一种新的动态训练范式——学习、聚焦和复习（LFR）教育理念，以加速LLM的预训练。LFR根据模型的学习速度和进度，有系统地重点关注和反复复习复杂的数据块。

关键观点6: 智能体引导的演示课程在多指机器人中的应用

文章提出了一种新颖的自动课程强化学习方法DemoStart，能够从模拟中仅有的稀疏奖励和少量演示中学习复杂的操纵行为，并将这些行为成功应用于多指机器人的真实应用场景。

关键观点7: 推荐的项目和资源

文章推荐了一些开源项目，包括Open-MAGVIT2、Humos和DeepSeek-V2.5等，并提供了相关的链接和介绍。

文章预览

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。 「奇绩大模型日报」知识库现已登陆飞书官方社区： https://www.feishu.cn/community/article/wiki?id=7355065047338450972 点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送 如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。 欢 迎 大 家 一 起 交 流 ！ 论文 0 1 大语言模型能触发新科研思路吗？ “智能体的创意无非是旧元素的新组合”（Young, J.W.）。大语言模型（LLMs）的广泛应用和ChatGPT的公开使用标志着人工智能（AI）融入人们日常生活的重要转折点。本研究探讨了LLMs根据研究论文信息生成新颖研究思路的能力。我们在五个领域（如化学、计算机、经济学、医学和物理学）对4个LLMs进行了彻底审查。发现Claude-2和GPT-4生成的未 ………………………………