NICE分享 | 大模型时代下非自回归模型的多层次能力提升：媲美自回归模型的探索之路

文章预览

主题 大模型时代下非自回归模型的多层次能力提升：媲美自回归模型的探索之路 【ICLR2024】Are Bert Family Good Instruction Followers? A Study on Their Potential And Limitations work in progress的一个工作 嘉宾 肖义胜，苏州大学博士生。以第一作者在TPAMI、AAAI、ICLR等国际期刊和会议发表多篇论文，担任ACL、TASLP等会议和期刊审稿人。他的研究方向主要集中于模型高效训练和推理方法，包括非自回归相关技术、投机解码、数据高效训练算法以及蒸馏算法研究。 内容 非自回归模型简要介绍和相关工作 非自回归在传统任务上的相关应用和前期工作 大模型时代非自回归模型全新能力探索，例如指令跟随(instruction following)、常识性推理(common sense reasoning and reading comprehension)等。 总结与展望 Q 引言 非自回归模型因其高效的推理速度在众多生成任务中得到了广泛应用。然而，这种 ………………………………