73年前，香农已经给大模型发展埋下一颗种子

文章预览

AI 考古，追溯到了祖师爷头上。 当今 AI 领域爆火的大语言模型（LLM），其原理是香农提出来的？ 今天，普林斯顿大学教授承现峻（Sebastian Seung）抛出了这样一个观点：1951 年，在贝尔实验室（总部位于新泽西州 Murray Hill）工作的克劳德・香农提出了预测下一个单词的问题，这成为了当前大语言模型（LLM）的种子。 如今很多看似新潮前沿的概念，其实距离提出已经相隔了好几十年，即使在计算机科学这样的新兴领域，例子也屡见不鲜。这个观点以及提到的 Murray Hill 引起热议，图灵奖得主、Meta 首席科学家 LeCun 表示，新泽西州的 Murray Hill、Florham Park 和普林斯顿都「诞生」了很多有影响力的工作。 LeCun 又列举了很多知名的研究成果： Hopfield 网络（美国科学家 Hopfield 同时在贝尔实验室和普林斯顿大学任职）。 ConvNets Boosting/Adaboost 非负矩阵分解 支持向 ………………………………