主要观点总结
斯坦福和NYU的研究发现，GPT-4等LLM（大型预训练语言模型）可以高精度地模拟人类，用于复制社会科学实验。通过提示AI以人口统计特征的形式回答调查问题，研究者发现LLM预测的实验效果与真实实验效果惊人地一致，甚至超越了人类专家的预测准确性。这项研究探讨了LLM在社会科学实验中的应用潜力，以及其预测结果的准确性和局限性。
关键观点总结
关键观点1: LLM如GPT-4能够模拟人类对社会科学实验的响应
研究者使用GPT-4来预测大量社会科学实验的结果，这些实验包括了田野调查以及全国性的研究项目。在大量调查中，GPT-4给出的预测与实际观察到的效果非常一致。
关键观点2: LLM预测的准确性超越了人类专家
研究结果显示，GPT-4等LLM的预测准确性非常高，即使对于未在其训练数据中出现的实验结果也能准确预测。此外，它们超越了人类专家和外行的预测准确性。
关键观点3: LLM在社会和行为科学研究中具有多种应用
使用LLM进行低成本的试点研究可以帮助研究人员确定有前景的研究想法，促进理论和假设的建立，并更好地估计未知的效应大小。此外，政策制定者可以利用LLM有效评估公共信息传递方法，以鼓励理想的行为。
关键观点4: LLM的预测存在局限性
尽管LLM的预测能力令人印象深刻，但它们仍然存在局限性。例如，它们可能无法完全模拟所有人类行为，并且在某些情况下可能存在偏见或过度使用的问题。此外，它们的应用仅限于特定的领域，例如社会科学和某些类型的研究。
文章预览
新智元报道 编辑：Aeneas 【新智元导读】 斯坦福和NYU的研究者发现，GPT-4这样的「AI人」，可以被用来复制社会科学实验了。调查了1万个AI，结果比真人还真？ 最近，斯坦福和NYU的一项研究发现，GPT-4能够很好地模拟人类，高精度地复制社会科学实验了！ 论文地址：https://docsend.com/view/qeeccuggec56k9hd 通过提示，AI可以以随机人口统计特征的形式回答调查问题，调查了数千名「AI人」后，一份社会科学实验报告就顺利出炉了。 点进这个页面，就可以使用这个演示，模拟被试生成预测的实验效果了 社会科学实验中最困难的过程之一，就是田野调查了。 而现在，可以采用LLM预测社会科学实验的结果了？ 不过有个问题：用LLM模拟真实的人类，结果能准吗？ 研究者发现，在70项研究中，模拟效果和观察到的效果，存在惊人的一致性。 准确性超越人类专
………………………………
