主要观点总结
Tülu 3是艾伦人工智能研究所(Ai2)发布的开源模型，包括8B和70B两个版本。该模型采用了新的后训练方案，并发布了详细的技术报告和训练数据。在评估方面，Tülu 3在各种基准测试中表现优秀，甚至超过了同等规模的其它模型。文章还介绍了Ai2在后训练方面的创新和改进，包括数据整理、监督微调、偏好微调等阶段，以及创建多技能SFT数据集、编排一个On-Policy偏好数据集等关键要素。此外，文章还介绍了Tülu 3在安全性方面的表现。
关键观点总结
关键观点1: Tülu 3是首个发布后训练详情的开源模型。
艾伦人工智能研究所（Ai2）发布了名为Tülu 3的开源模型，包含8B和70B两个版本。该模型通过采用新的后训练方案，展现了卓越的性能，其数据集和代码也已公开。
关键观点2: 后训练的作用在模型性能提升中越来越大。
后训练包括微调和RLHF等方法，是提高模型性能的重要阶段。各大公司在后训练方法的复杂度上进行了大量尝试，提高了模型的通用和专业能力。Ai2的后训练方案在开源模型中领先，公开了所有相关的数据和配方细节。
关键观点3: Tülu 3在后训练方面的创新和改进包括数据整理、监督微调等阶段。
Ai2在后训练方面进行了创新和改进，包括四个阶段：数据整理、监督微调、偏好微调、具有可验证奖励的强化学习等。这些阶段的精细化操作有助于提高模型的性能。
关键观点4: Tülu 3在各种基准测试中表现优秀。
Ai2通过一系列基准测试评估了Tülu 3的性能，包括知识调用、推理、数学、编程和指令遵从等方面的测试。在同等规模下，Tülu 3的表现非常出色。
关键观点5: Tülu 3的安全性得到了验证。
在安全性方面，Tülu 3在基准测试中表现出良好的安全性能。相较于其他开源模型，Tülu 3在安全性方面具有一定的优势。
文章预览
机器之心报道 编辑：Panda、张倩 开源模型阵营又迎来一员猛将：Tülu 3。它来自艾伦人工智能研究所（Ai2），目前包含 8B 和 70B 两个版本（未来还会有 405B 版本），并且其性能超过了 Llama 3.1 Instruct 的相应版本！长达 73 的技术报告详细介绍了后训练的细节。 在最近关于「Scaling Law 是否撞墙」的讨论中，后训练（post-training）被寄予厚望。 众所周知，近期发布的 OpenAI o1 在数学、 代码、长程规划等问题上取得了显著提升，而背后的成功离不开后训练阶段强化学习训练和推理阶段思考计算量的增大。基于此，有人认为，新的扩展律 —— 后训练扩展律（Post-Training Scaling Laws） 已经出现，并可能引发社区对于算力分配、后训练能力的重新思考。 不过，对于后训练到底要怎么做，哪些细节对模型性能影响较大，目前还没有太多系统的资料可以参考，因为这
………………………………
