主要观点总结
文章介绍了关于AI学习社群、大语言模型、灵活混合专家工具包、用户摘要基准框架、Transformer模型的模块化以及迁移学习的扩展定律等方面的内容。
关键观点总结
关键观点1: AI学习社群
搭建一个AI学习社群，让大家能够学习到最前沿的知识，共建更好的社区生态。奇绩大模型日报知识库已登陆飞书官方社区，欢迎订阅和交流。
关键观点2: 大语言模型的新发展
介绍论文《论文 01NDP：下一次分配预测作为更广泛的目标》，其中提出大语言模型在下一个token预测范式上展现出强大的能力，但存在训练目标狭窄的问题。引入NDP方法，使用n-gram分布替代one-hot目标，增强学习效果。在多个领域进行实验，取得显著改进。
关键观点3: MemLong：用于长文本建模的记忆增强检索
介绍MemLong方法，旨在通过利用外部检索器进行历史信息检索来增强长上下文语言建模的能力。结合不可微分的“ret-mem”模块与部分可训练的仅解码器语言模型，引入细粒度、可控的检索注意力机制。全面评估表明，MemLong表现优于其他最先进的LLMs，并将上下文长度扩展到80k。
关键观点4: 灵活混合专家工具包
提出一个工具包，用于从训练模型中创建低成本的领域专家混合体。该工具包可用于从模型或适配器创建混合体，经过广泛测试，并提供如何使用该工具包定义结果MOE架构的指导。
关键观点5: UserSumBench：用于评估用户总结方法的基准框架
介绍UserSumBench，一个基准框架，旨在促进基于LLM的摘要方法的迭代开发。提供无参考摘要质量度量和一种新颖的鲁棒摘要方法。该框架用于评估从一长串原始用户活动数据中生成的用户摘要，对于基于LLM的个性化应用至关重要。
关键观点6: Transformer模型的模块化研究
研究Transformer模型内部神经元的模块化和任务专业化。通过选择性修剪和MoEfication聚类技术的结合，分析神经元的专业化和重叠。发现任务特定的神经元簇，不同任务间存在不同程度的重叠。这项工作有助于更细致地了解Transformer的内部，并提供改进模型可解释性和效率的潜在途径。
关键观点7: 迁移学习的扩展定律的实证研究
展示了一个关于迁移学习规模定律的有限经验研究。研究了一个包含迁移差距项的规模定律，并揭示了在不同分布之间的迁移差距存在显著变化。结果有助于衡量迁移学习效率，并了解数据可用性如何影响性能。
文章预览
我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。 「奇绩大模型日报」知识库现已登陆飞书官方社区： https://www.feishu.cn/community/article/wiki?id=7355065047338450972 点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送 如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。 欢 迎 大 家 一 起 交 流 ！ 论文 0 1 NDP：下一次分配预测作为更广泛的目标 大语言模型(LLMs)在下一个token预测(NTP)范式上训练，展现出强大的能力。然而，现有的NTP范式存在几个限制，特别是与计划任务复杂性和推理过程中的错误传播相关。在我们的工作中，我们扩展了对NTP的批评，强调其限制也是由于训练目标狭窄：预测次优的one-hot分布。为了支持这一批评，我们进行了一个预先实验，将强大的LLMs的输
………………………………
