用最直观的动画，讲解LLM如何存储事实，3Blue1Brown的这个视频又火了

文章预览

本文根据视频整理而来，有听错或理解不当之处欢迎在评论区指出。 向大模型输入「Michael Jordan plays the sport of _____（迈克尔・乔丹从事的体育运动是……）」，然后让其预测接下来的文本，那么大模型多半能正确预测接下来是「basketball（篮球）」。 这说明在其数以亿计的参数中潜藏了有关这个特定个人的相关知识。用户甚至会感觉这些模型记忆了大量事实。 但事实究竟如何呢？ 近日，3Blue1Brown 的《深度学习》课程第 7 课更新了，其中通过生动详实的动画展示了 LLM 存储事实的方式。视频浏览量高达 18 万次。 去年 12 月，谷歌 DeepMind 的一些研究者发布了一篇相关论文，其中的具体案例便是匹配运动员以及他们各自的运动项目。 虽然这篇论文并未完全解答有关 LLM 事实存储的问题，但也得到了一些颇为有趣的结果，其中的一个重点是：事实保存在 ………………………………