一个从大三就接触NLP的小小NLPer,本公众号每天记录自己的一点一滴,每篇文章最后也有托福单词等新知识,学技术同时,也一点一滴积累额外的知识。期待与你在知识的殿堂与你相遇!
今天看啥  ›  专栏  ›  深度学习自然语言处理

腾讯AI Lab联合苏大上交提出:少切思路多挖矿,让o1类LLM做题不再「三心二意」

深度学习自然语言处理  · 公众号  ·  · 2025-02-04 16:33
    

文章预览

想象一下,你班上有个超级聪明的学霸,但他做题时总像得了「思维多动症」——一会儿用代数算,突然又切到几何法,再蹦出个微积分,最后…答案错了!这篇论文抓到的正是大语言模型(比如OpenAI的o1)的这个小毛病: underthinking (思考不足)。 作者们发现,这些模型面对数学难题时,像极了刷题时三心二意的人类——明明找到正确思路的开头(比如画椭圆找交点),却非要切到其他方法,最后用7681个token写了一篇《论我如何跑题》的小作文,答案还是错的😂。更扎心的是,错误答案的token量比正确答案多225%,妥妥的「无效内卷」! 题目越难,模型越像「热锅上的蚂蚁」疯狂切思路 错误答案里藏着的「夭折学霸」——正确思路刚冒头就被掐灭 方法 如何治这个「思维多动症」?论文祭出了 TIP(Thought Switching Penalty) ,简单说就是给模型戴上 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览