用最直观的动画，讲解LLM如何存储事实，3Blue1Brown的这个视频又火了

主要观点总结

本文介绍了大型语言模型LLM在记忆特定事实如“迈克尔·乔丹从事的体育运动是篮球”方面的机制，重点介绍了多层感知器(MLP)在这一过程中的作用，并通过具体例子详细解释了MLP如何处理并存储这些信息。还涉及了对于Transformer工作原理和GPT-3参数计算的讨论。

关键观点总结

关键观点1: 大型语言模型LLM可以存储并预测特定事实。

文章通过“迈克尔·乔丹从事的体育运动是篮球”这一例子，展示了LLM如何处理和存储事实信息。

关键观点2: MLP在LLM中扮演重要角色。

MLP负责处理并存储事实信息，通过一系列运算和矩阵乘法来生成输出向量，这些向量编码了输入信息的丰富含义。

关键观点3: Transformer的工作原理。

Transformer基于已有token预测下一个token，每个token都关联一个高维向量，这些向量经过注意力机制和MLP处理，以生成包含丰富信息的输出向量。

关键观点4: GPT-3参数的计算。

文章介绍了如何计算GPT-3中的参数，包括嵌入空间的大小和矩阵乘法的运用，以及偏置的影响。

关键观点5: 3blue1Brown频道的介绍。

3blue1Brown是一个制作可视化讲解视频的频道，内容覆盖数学和人工智能等领域，通过直观生动的动画演示帮助观众理解复杂的概念和定理。

文章预览

点击上方“ 图灵人工智能 ”，选择“星标”公众号 您想知道的人工智能干货，第一时间送达                           向大模型输入「Michael Jordan plays the sport of _____（迈克尔・乔丹从事的体育运动是……）」，然后让其预测接下来的文本，那么大模型多半能正确预测接下来是「basketball（篮球）」。 这说明在其数以亿计的参数中潜藏了有关这个特定个人的相关知识。用户甚至会感觉这些模型记忆了大量事实。 但事实究竟如何呢？ 近日，3Blue1Brown 的 《深度学习》 课程第 7 课更新了，其中通过生动详实的动画展示了 LLM 存储事实的方式。视频浏览量高达 18 万次。 去年 12 月，谷歌 DeepMind 的一些研究者发布了一篇相关论文，其中的具体案例便是匹配运动员以及他们各自的运动项目。 虽然这篇论文并未完全解答有关 LLM 事实存储的问题，但也得到 ………………………………