语言、大模型与AGI

1. 语言和世界知识不可分离。一些观点认为可以把AI模型的知识和语言能力分离，用一个小模型来完成语言功能，然后连接一个很大的知识库，这样就可以用小模型来实现强大的功能。我想这样做的效果恐怕会让人失望，可以从语言和模型两个角度来说明。1）语言角度：仅凭基本的语法结构是无法构成有意义的语言的。语言学家乔姆斯基举过这样一个例子：colorless green idea sleeps furiously，这是符合句法结构的但毫无意义的一句话，没有颜色无法来形容绿色，绿色的想法是什么，想法如何睡觉，睡觉又如何愤怒。要想一句话有意义，就必须要对知识有所理解。我们的日常对话中蕴含了大量的世界知识，历史故事被凝结成了一个成语，或者一个网络故事成为了互联网黑话，抽离了世界知识的对话体验一定是很差的。同样的词汇在不同语境中的含义可能不 ………………………………