Kimi复现OpenAI o1模型的关键思考过程

文章预览

DeepSeek R1 的风头让其他大模型暗淡无关。 但我想说，国内的月之暗面，Kimi，他们新出的 1.5 推理模型效果也很不错。只是没有开源，没有在 Twitter 热传，所以被很多人忽略了。 大约半个月前，我看到了 Kimi 技术团队写的这篇文章通俗易懂的解释了自己做的事情，而且读起来很有趣。今天也推荐给你，写的特别好。百度 30 分钟前宣布也要开源自己的看家模型，今年的大模型赛场，会异常激烈。 我愿意多给大家推荐一些这样的好文章。 2024 年 9 月 12 号，o1 发布，震撼，效果爆炸，Long CoT 的有效让我陷入反思 Reflection。 因为 Long CoT 的有效性其实在一年多前就已经知道了，周昕宇很早就验证过，使用很小的模型训练模型做几十位的加减乘除运算，将细粒度的运算过程合成出来变成很长的 CoT 数据做 SFT，就可以获得非常好的效果。我依然记得当时看到那 ………………………………