主要观点总结
文章介绍了加州大学伯克利分校天空计算实验室的研究团队NovaSky发布的Sky-T1-32B-Preview推理模型，该模型具有惊人的开源特性，其训练成本不到450美元。该模型在多个关键基准测试中与OpenAI o1的早期版本相媲美，并且任何人都可以从头开始复制。文章还详细描述了模型的技术细节，包括数据整理过程、训练方法和评估结果，以及一些值得重视的新发现。
关键观点总结
关键观点1: Sky-T1-32B-Preview模型的特点
这是一个具有开源特性的推理模型，训练成本不到450美元，具有与OpenAI o1早期版本相当的性能。
关键观点2: 模型的技术细节
文章详细描述了模型的数据整理过程、训练方法和评估结果。包括使用QwQ-32B-Preview生成训练数据，对数据进行整理、拒绝采样、重新格式化等步骤。使用DeepSpeed Zero-3 offload在8个H100上用19个小时完成模型训练。
关键观点3: 模型的评估结果
Sky-T1在MATH500上的表现优于o1的早期预览版本，但在某些领域如GPQA-Diamond上不如o1预览版。值得注意的是，OpenAI的o1 GA版本比预览版更强大，并且未来会有性能更佳的推理模型发布。
关键观点4: 研究团队的新发现
模型的大小和数据混合对于模型的性能有很大影响。较小的模型会生成重复内容，而均衡的数据混合可以使模型在多个领域都表现出色。
文章预览
机器之心报道 编辑：蛋酱 450 美元的价格，乍一听起来不算「小数目」。但如果，这是一个 32B 推理模型的全部训练成本呢？ 是的，当时间来到 2025 年，推理模型正变得越来越容易开发，且成本迅速降低到我们此前无法想象的程度。 近日，加州大学伯克利分校天空计算实验室的研究团队 NovaSky 发布了 Sky-T1-32B-Preview。有趣的是，团队表示：「Sky-T1-32B-Preview 的训练成本不到 450 美元，这表明可以经济、高效地复制高级推理能力。」 项目主页：https://novasky-ai.github.io/posts/sky-t1/ 开源地址：https://huggingface.co/NovaSky-AI/Sky-T1-32B-Preview 据官方信息，这款推理模型在多个关键基准测试中与 OpenAI o1 的早期版本相媲美。 重点是，Sky-T1 似乎是第一个真正开源的推理模型，因为团队发布了训练数据集以及必要的训练代码，任何人都可以从头开始复制。 大家惊呼：「数
………………………………
