Transformer，会笑到最后吗？

文章预览

点击蓝字  关注我们 了解与IT有关的人和事             Transformer 架构为当今最流行的公共和私有 AI 模型 提供支持。那么我们想知道——接下来是什么？这种架构是否会带来更好的推理？Transformer 之后会是什么？   一、Transformer 的问题 及其挑战者们 Transformer 架构的自注意力机制允许模型同时衡量每个输入 token 对输入序列中所有 token 的重要性。通过捕获长距离依赖关系和复杂的 token 关系，这有助于提高模型对语言和计算机视觉的理解。然而，这意味着计算复杂度会随着长序列（例如 DNA）的增加而增加，从而导致性能下降和内存消耗增加。解决长序列问题的一些解决方案和研究方法包括： 在硬件上改进 Transformer  ：FlashAttention 是一项很有前途的技术。本文声称，通过仔细管理 GPU 上不同级别的快速和慢速内存的读写，可以提高 Transformer 的性能 ………………………………