加州伯克利联合研究首次证实：LLM以人类难以监控的方式获取知识，进行高级推理

文章预览

加州大学伯克利分校、多伦多大学、Vector研究所，Anthropic等机构的研究人员在 arxiv 发表一篇论文《连接点：大语言模型（LLMs）可以从不同的训练数据中推断并表达潜在结构》 ‍ 在本研究发表之前，人们还不清楚 LLM 是否能在没有显式上下文示例的情况下从训练数据中推断出潜在信息，这可能会让大语言模型以人类难以监控的方式获取知识 研究人员提出并定义了"归纳性上下文外推理( OOCR )"概念： 一种新型的学习和推理能力，指大型语言模型能够从训练数据中分散的隐含信息中推断出潜在知识，并在没有上下文的情况下应用于下游任务。这个概念的提出为研究语言模型的推理能力提供了新的视角 研究人员们精心设计了五个不同领域的任务来评估OOCR能力，包括位置推断、硬币偏差估计、函数学习、函数混合学习和奇偶性学习。这些任务涵盖了不同 ………………………………