文章预览
作者: mackler 链接: https://zhuanlan.zhihu.com/p/720282169 OpenAI沉寂了大半年，炒作了一波又一波 ，终于o1出来了。网上分析或者吹嘘的一大堆，这些就不复读机了，聊点更第一性的一些理解和想法，很多也是我去年年初写的https://zhuanlan.zhihu.com/p/623585915提到的很多观点，o1也算是做了一些验证，今天也借着o1的热度再展开聊一聊。 来自语言的in context learning能力是大模型最宝贵的技术财富。 其实ChatGPT刚刚爆火的时候，让我感到震惊的正是过去深度学习不曾带来的in context learning能力，其实业界对于“涌现”这个词怎么争论和理解，这在我看来就是一种符合物理学中涌现的现象——大模型基于深度学习，但具有深度学习所不具备的in context learning能力，当然涌现的定义或者文字游戏不重要。当然更重要的一个判断是，这个能力来自于语言，而不是Transformer。深度
………………………………
