研究实锤：别让大模型「想」太多，OpenAI o1准确率竟下降36.3%

文章预览

 夕小瑶科技说 分享  来源 | 阮文韵 思维链（CoT）已被证明可以在许多任务（如多步骤推理）上显著提升大模型的性能。然而， 在哪些情况下，CoT 会系统性地降低大模型的性能，这仍然是一个有待进一步讨论的问题。 如今，来自普林斯顿大学和纽约大学的研究团队， 参照思考对“人类性能”的影响 ，提出了新的见解。 他们认为，虽然模型的认知过程与人类的认知过程并不完全相同，但可以参照思考对人类“性能”产生负面影响的情况，假定思考会对模型产生负面影响的环境。 他们从心理学中选择了 6 项已被充分研究的任务类型来探讨 CoT 对 LLM 性能的影响，并验证了 CoT 在一些任务中甚至可能导致模型准确率下降。 这一发现不仅 为未来优化 LLM 的提示策略提供了新思路 ，还为理解人类与模型在推理过程中的相似性与差异性带来了新见解。 ………………………………