11种主流注意力机制汇总与实现

文章预览

现在搞人工智能，真是离不开 注意力机制 。 发论文，模型里没点魔改Attention都不好意思叫创新。 面试算法岗，简单的让你讲讲几种注意力，或者让你手撕个注意力函数、MQA算法之类的。 所以各位小伙伴，尤其是在校生们，还是要打好Attention的基础。这里也分享一些资料：包括 缩放点积注意力、多头注意力、交叉注意力、空间注意力、通道注意力 等在内的 11种主流注意力机制112个创新研究 ，最新更新到24年9月 这些可以说是目前学术界有关attention最前沿的资料了。并且 每篇论文都有对应的代码 ，可以自己手撕复现，非常方便。 11种主流注意力机制112个创新研究paper+代码 ，想要的扫码领取⬇️ 扫码领112个11种主流注意力机制 创新研究paper和代码 缩放点积注意力 5.Sep.2024—LMLT:Low-to-high Multi-Level Vision Transformer for Image Super-Resolution 4.Sep.2024—MobileUNETR: ………………………………