专栏名称: 斌叔OKmath
橙旭园CEO 教育博主 教育部双创优秀导师。前微软员工。橙旭园儿童编程创始人。
今天看啥  ›  专栏  ›  斌叔OKmath

《注意力就是你所需要的》论文确实是一篇具有里程碑意义的论文。然而-20240930080512

斌叔OKmath  · 微博  ·  · 2024-09-30 08:05

文章预览

2024-09-30 08:05 本条微博链接 《注意力就是你所需要的》论文确实是一篇具有里程碑意义的论文。 然而,原始的“原始”变压器现在已经很少使用了。 巨大的关键升级是使用 RoPE,即旋转位置嵌入。 **原始解码器** - 输入标记- 嵌入- 嵌入 + 位置编码- 解码器块 ** RoPE 解码器** - 输入标记- 嵌入- 解码器块 **旋转位置嵌入** RoPE 用于注意力块,它需要知道 token 的位置。 注意力模块结合了大量 token 的信息,需要知道它们的相对位 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览