算术任务中上下文学习与技能组合的涌现 | 信还是不信？大模型不确定性量化问题 | 生物和人工通用智能的必要条件.....

文章预览

前言： 论文可以让你更快地了解最新研究进展，掌握最新的技术和理论。这对于自身的科研能力和竞争力非常重要，尤其是在快速发展的学科领域，下面小编带你来看大模型最近的研究成果。 1. 算术任务中上下文学习与技能组合的涌现   标题： Learning to grok: Emergence of in-context learning and skill composition in modular arithmetic tasks   机构： 马里兰大学、Meta AI   相关领域： 预训练、模型评估   作者： Tianyu He,  Darshil Doshi,  Aritra Das   分析： 这篇论文研究了大型语言模型在解决训练集中未出现的任务时的能力，特别是通过上下文学习和技能组合。研究集中在一系列模块化算术任务上，使用部分任务进行预训练，其余用于分布外测试。实验表明，GPT风格的Transformer模型随着预训练任务数量的增加，从分布内过渡到分布外泛化。研究发现，最小的能够进行分 ………………………………