手机:16601807362,可咨询购买自动驾驶开发套件、自动驾驶教学平台及解决方案、线控底盘、Mobileye相机、德尔福和博世4D雷达、激光雷达。
今天看啥  ›  专栏  ›  人工智能AI大模型与汽车自动驾驶

解决 Transformer 根本缺陷,CoPE 论文爆火:所有大模型都能获得巨大改进!

人工智能AI大模型与汽车自动驾驶  · 公众号  ·  · 2024-09-06 11:17
    

文章预览

转自 | 机器之心 即使最强大的 LLM 也难以通过 token 索引来关注句子等概念,现在有办法了。 最近两天,马斯克和 LeCun 的口水战妥妥成为大家的看点。这两位 AI 圈的名人你来我往,在推特(现为 X)上相互拆对方台。 LeCun 在宣传自家最新论文时,也不忘手动 @ 一把马斯克,并意味深长地嘱咐道:「马斯克,我们这项研究用来改善你家的 Grok 也没问题。」 LeCun 宣传的这篇论文题目为《 Contextual Position Encoding: Learning to Count What’s Important 》,来自 Meta 的 FAIR。 骂战归骂战,这篇论文的重要性不言而喻。短短 24 小时之内就成为了 AI 领域最热门的论文之一。它有望解决如今大模型(LLM)最让人头疼的问题。 论文地址:https://arxiv.org/pdf/2405.18719 总的来说,该研究提出了一种新的用于 transformer 的位置编码方法 CoPE(全称 Contextual Position Encoding),解决了标准 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览