主要观点总结
本文探究了预训练transformer中的信息流，针对仅解码器和仅编码器冻结transformer模型进行了一系列实验。通过类比画家作画流水线来理解transformer的内部机制，尤其是中间层的作用。实验涵盖了探究各层是否使用相同的表征空间、层的顺序的重要性、层是否可以并行运行等问题。
关键观点总结
关键观点1: transformer内部运作原理仍然是一个未解之谜，文章通过《Transformer Layers as Painters》探究预训练transformer中的信息流。
文章提出用画家作画流水线的类比来理解transformer的内部机制，特别是中间层的作用。
关键观点2: 文章探究了各层是否使用相同的表征空间，并对此进行了实验验证。
实验结果表明，中间层共享一个表征空间，并与外围层拥有不同的表征空间。
关键观点3: 文章研究了层的顺序对模型性能的影响，并通过实验发现层的顺序对模型有一定的重要性，但即使改变了顺序，这些层仍然能够发挥作用。
更有趣的是，随机打乱层的顺序比完全反过来效果更好。
关键观点4: 文章还研究了层是否可以并行运行，并设计了实验来验证。实验结果显示，并行运行层在一般情况下是可行的，但对于需要顺序逻辑理解的数学问题，这种方法可能不太适用。
此外，文章还探讨了如何调整层对模型性能的影响最小，并通过实验发现重复单一层的影响最严重。随机化层顺序和循环并行的影响最小。
文章预览
转自 | 机器之心 七年前，论文《Attention is all you need》提出了 transformer 架构，颠覆了整个深度学习领域。 如今，各家大模型都以 transformer 架构为基础，但 transformer 内部运作原理，仍是一个未解之谜。 去年，transformer 论文作者之一 Llion Jones 宣布创立人工智能公司 Sakana AI。近期，Sakana AI 发表了一篇题为《Transformer Layers as Painters》的论文，探究了预训练 transformer 中的信息流，并针对仅解码器和仅编码器冻结 transformer 模型进行了一系列实验。请注意，该研究没有对预训练模型进行任何类型的微调。 论文地址：https://arxiv.org/pdf/2407.09298v1 该研究认为 transformer 的内部机制（特别是中间层）可以类比画家作画流水线来理解。 作画流水线通常是将画布（输入）传递给一系列画家。有些画家擅长画鸟类，而另一些画家则擅长画轮子。每个画家从其下一级画家
………………………………
