单靠推理Scaling Law无法成就o1！无限推理token，GPT-4o依然完败

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 新智元 CoT铸就了o1推理王者。 它开创了一种推理scaling新范式——随着算力增加、更长响应时间，o1性能也随之增长。 这一点，为AI scaling开辟了新的可能性。 既然如此，若是将o1这一训练过程直接应用到所有LLM中，岂不皆是「推理王者」。 然而，研究机构Epoch AI发现，结果并不是这样的。 单纯的扩展推理计算，根本不能弥合o1-preview和GPT-4o之间的差距。 他们称，「虽然o1使用了逐步推理方法训练，但其性能改进，可能还存在其他的因素」。 o1的秘诀是什么？ 上周，在o1-preview和o1-mini发布之后，Epoch AI ………………………………