用「图灵测试」检验AI尤其是大语言模型，真的科学吗？

主要观点总结

本文主要探讨了当前大型语言模型在衡量智能水平方面的挑战和争议。虽然ChatGPT等模型表现出类似人类的行为，但在衡量其智力水平时仍存在困难。图灵测试等传统评估方法存在局限性，新的评估方法如心理实验参与者的模拟等正在被探索。不同专家对机器智能的定义和评估方法存在不同看法，机器的智能水平仍然是一个争议话题。

关键观点总结

关键观点1: 大型语言模型如GPT展现出类似人类的行为，但在衡量智力水平时仍面临困难。

大多数计算机科学家认为机器的智力水平还不能与人类相提并论，但目前尚未就如何衡量智力或具体衡量什么达成共识。

关键观点2: 图灵测试是检验机器智能的经典实验，但存在局限性。

最新的LLM在图灵测试中的表现有所进步，但仍不能完全代表人类的智能水平。

关键观点3: 新的评估方法正在被探索，如模拟心理实验的参与者来评估模型的推理能力。

一些专家提出把模型当作心理实验的参与者，观察其是否能理解自己的推理过程，以此来评估智能水平。

关键观点4: 定义和评估机器智能仍存在争议。

不同专家对机器智能的定义和评估方法存在不同看法，机器的智能水平仍然是一个争议话题。一些专家强调机器需要模拟人类大脑的学习方式才能获得真正的智能。

文章预览

选自Communications of the ACM 作者：Neil Savage 机器之心编译 机器之心编辑部 当前的大型语言模型似乎能够通过一些公开的图灵测试。我们该如何衡量它们是否像人一样聪明呢？ 在发布后的近两年时间里，ChatGPT 表现出了一些非常类似人类的行为，比如通过律师资格考试。这让一些人怀疑，计算机的智力水平是否正在接近人类。大多数计算机科学家认为，机器的智力水平还不能与人类相提并论，但他们还没有就如何衡量智力或具体衡量什么达成共识。 检验机器智能的经典实验是图灵测试，由艾伦・图灵在其 1950 年发表的论文《Computing Machinery and Intelligence》中提出。图灵认为，如果计算机能让与之进行打字对话的人相信它是人类，这可能就是智能的标志。大型语言模型（LLM），如 GPT，擅长像人一样说话，但尚未令人信服地通过图灵测试。 2023 年，加州大 ………………………………