​Transformer是推断还是记忆？初始化大小很重要

文章预览

©作者 |  张众望，许志钦，GPT-4o（负责幽默部分） 单位 |  上海交大深度学习基础理论团队 Transformer 架构在当前大语言模型中的地位，堪比麦当劳里的牛肉饼——谁不爱呢？这位“全能选手”能解数学题、写诗作赋，简直是 AI 界的“跨界网红”。不过，要揭开它才华横溢的秘密，可比哄孩子吃饭还费劲。 直接研究真实的大语言模型，难度堪比在菜市场里向大妈们讲解狭义相对论——你会被讨价还价的嘈杂声淹没。所以，咱们换个思路，采用“锚点-关键项”这招“偷天换日”，既省时又高效。接下来，让我们一探 Transformer 学习复合函数的究竟：它是靠推理，还是单纯拼记忆？ 假设我们有四种基本运算,它们可以组合出 16 种“变身形态”（16 种复合运算）。如果我们只拿其中 15 种训练模型，你猜：它能掌握剩下那个“遗珠”吗？ 答案是肯定的！ ………………………………