注册
登录
专栏名称:
深度学习基础与进阶
一个百度人的技术提升之路,为您提供一系列计算机视觉,自然语言处理和推荐系统等高质量技术文章,让您的碎片化时间最大价值化
我也要提交微信公众号
今天看啥
微信公众号rss订阅, 微信rss, 稳定的RSS源
微信公众号RSS订阅方法
B站投稿RSS订阅方法
雪球动态RSS订阅方法
微博RSS订阅方法
微博搜索关键词订阅方法
目录
相关文章推荐
一条
·
配色清雅的水晶首饰,晶莹剔透,仙气飘飘,寓意美好
·
22 小时前
今天看啥
›
专栏
›
深度学习基础与进阶
揭示Transformer重要缺陷!北大提出傅里叶分析神经网络FAN,填补周期性特征建模缺陷
深度学习基础与进阶
·
公众号
· · 2024-11-12 19:57
文章预览
转自 | 机器之心 本文的通讯作者是北京大学计算机学院长聘教授李戈。第一作者:董益宏,北京大学计算机学院 22 级博士生,曾在 ISSTA、FSE、ACL、NeurIPS、TOSEM 等 CCF-A 类 / SCI 一区国际顶级会议和期刊上发表 11 篇学术论文。 周期性现象广泛存在,深刻影响着人类社会和自然科学。作为最重要的基本特性之一,许多规律都显式或隐式地包含周期性,例如天文学中的行星运动、气象学中的季节变化、生物学中的昼夜节律、经济学中的商业周期、物理学中的电磁波以及数学运算和逻辑推理等。因此,在许多任务和场景中,人们希望对周期进行建模,以便根据以往的经验进行推理。 尽管以 MLP 和 Transformer 为代表的基础模型已经取得了显著的成功,但是它们却在周期性建模方面存在潜在的缺陷。即使面对简单的正弦函数,现有基础模型也难以理解其中的周 ………………………………
原文地址:
访问原文地址
快照地址:
访问文章快照
总结与预览地址:
访问总结与预览
分享到微博
推荐文章
一条
·
配色清雅的水晶首饰,晶莹剔透,仙气飘飘,寓意美好
22 小时前
正点光伏
·
『调研』逆变器板块更新推荐
9 月前
生物多样性与生态保育
·
【悦读365·第1168天】稻田土壤好氧甲烷氧化菌与反硝化菌的代谢耦合
5 月前
Auto 座椅产业链观察
·
热门赛道丨汽车座椅舒适系统国内主流厂商一览
4 月前
Auto 座椅产业链观察
·
热门赛道丨汽车座椅舒适系统国内主流厂商一览
4 月前
指南针移民留学
·
【移民周报Vol.337】西澳狂发邀请,最低65上岸!留学CAP未通过,学签将如何变化?189官报出炉,本轮邀请数据一览
4 月前