o1类大模型的过度思考: 2+3=？

文章预览

腾讯AI Lab 和 上交 发现在面对一个基本的算术问题“2+3=？”时，o1类LLMs为何会表现出过度思考的现象。这个问题虽然简单，但它揭示了当在处理复杂任务时，这些模型是否真正高效和智能。下面一起深入剖析下这篇文章的内容吧，很有意思的。 论文：Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs 链接：https://arxiv.org/abs/2412.21187 作者：Wzl 来自：深度学习自然语言处理 动机 目前o1类的LLM会探索多种策略，分解复杂的步骤等去增强处理复杂推理任务的能力，这些对问题的探索和拆解会生成比较长的思维链。这依赖于scaling test-time compute，也就是分配了更多的资源在推理阶段以提高任务的准确率。但是， 目前的scaling test-time compute是否是高效并且智能呢？ 并不是。 作者观察到o1类模型存在明显的“过度思考”的问题，对简单的2+3=？o1类模型相比基 ………………………………