Open LLM集中爆发的一周，卷疯了！

文章预览

开源大模型领域热闹非凡的一周，各种开源，PaperAgent进行了概括： 端侧、Code、RAG、Agent、Reflection（反思纠正）、MoE ，你关注的都在这里了 Reflection Llama-3.1-70B 开源 Reflection Llama -3.1 70B 是世界上顶尖的Open LLM ，通过反思微调技术（ Reflection-Tuning ）训练，能够检测并纠正推理错误，具有很高的热度， Hugging Face热门排行Top1。 Agent中需要LLM具有很强的推理规划能力 ，这种反思技术训练的模型是否很契合Agent尼？有待进一步验证 该模型使用Glaive生成的合成数据进行训练，Glaive是一个强大的模型训练工具。 模型可以通过特定的代码和管道进行采样，使用与标准 Llama 3.1相同的聊天模板格式。 采样时，模型会先在 标签内输出推理过程，然后使用 标签修正错误，最后在 标签内提供最终答案。 这种设计使得模型能够区分内部思考和最终答案，提升用户体验。 ………………………………