PyTorch 为 LLM 提供了一个新的注意力函数，称为 Fl-20240813084335

文章预览

2024-08-13 08:43 本条微博链接 PyTorch 为 LLM 提供了一个新的注意力函数，称为 FlexAttention，它支持各种注意力变体。 我只是试用了一下并将它与多头注意力的其他实现进行了比较，它似乎与 torch.compile 结合使用效果很好。 但是，如果您没有编译模型（例如，由于兼容性问题），最好不要将其用于多头注意力。 The notebook with the benchmark code is available here: 网页链接 ………………………………