“Transformers 中什么是最重要的？”是一篇有趣的论文-20241024081039

文章预览

2024-10-24 08:10 本条微博链接 “Transformers 中什么是最重要的？”是一篇有趣的论文 ( 网页链接 )，它发现实际上可以删除 LLM 中一半的注意力层（如 Llama），而不会明显降低建模性能。 这个概念相对简单。作者删除了注意力层、MLP 层或整个 transformer 块： - 移除整个变压器块会导致性能显著下降。 - 删除 MLP 层会导致性能显著下降。 - 删除注意层几乎不会导致性能下降！ 在 Llama 2 70B 中，即使删除一半的注意力层（这会带来 ………………………………