袁毓林：ChatGPT等大模型的语言处理机制及其理论蕴涵

文章预览

引用本文： 袁毓林. ChatGPT等大模型的语言处理机制及其理论蕴涵[J]. 外国语,2024, 47(4): 2-14. 引言：了解大模型的语言运用能力的来源 大家可能都知道，ChatGPT等现代大型语言模型（large language models，LLMs）在语言理解与生成方面有强大的功能；但是，未必了解它们的工作方式、内部机制和数学原理。那么，ChatGPT等语言大模型到底是怎么达到这种境界的？能不能用一种语言学家也能够理解的方式来简单地解释一下？大模型的这种语言处理机制在语言学理论方面有什么含义？这也许是许多语言学工作者（包括研究生和教师）甚至一般的网友所普遍关心的问题。 本文尝试根据笔者有限的文献阅读和粗浅的专业知识，来介绍和回答这些问题。为了方便，我们将主要集中在两个方面：（一）基于分布语义学的词向量表示及其类比推理功能，（二）基于转换器的 ………………………………