一个百度人的技术提升之路,为您提供一系列计算机视觉,自然语言处理和推荐系统等高质量技术文章,让您的碎片化时间最大价值化
目录
今天看啥  ›  专栏  ›  深度学习基础与进阶

揭示Transformer重要缺陷!北大提出傅里叶分析神经网络FAN,填补周期性特征建模缺陷

深度学习基础与进阶  · 公众号  ·  · 2024-11-12 19:57
    

文章预览

转自 | 机器之心 本文的通讯作者是北京大学计算机学院长聘教授李戈。第一作者:董益宏,北京大学计算机学院 22 级博士生,曾在 ISSTA、FSE、ACL、NeurIPS、TOSEM 等 CCF-A 类 / SCI 一区国际顶级会议和期刊上发表 11 篇学术论文。 周期性现象广泛存在,深刻影响着人类社会和自然科学。作为最重要的基本特性之一,许多规律都显式或隐式地包含周期性,例如天文学中的行星运动、气象学中的季节变化、生物学中的昼夜节律、经济学中的商业周期、物理学中的电磁波以及数学运算和逻辑推理等。因此,在许多任务和场景中,人们希望对周期进行建模,以便根据以往的经验进行推理。 尽管以 MLP 和 Transformer 为代表的基础模型已经取得了显著的成功,但是它们却在周期性建模方面存在潜在的缺陷。即使面对简单的正弦函数,现有基础模型也难以理解其中的周 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览