Big Model Weekly | 第26期

文章预览

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 01 Mistral-C2F: Coarse to Fine Actor for Analytical and Reasoning Enhancement in RLHF and Effective-Merged LLMs 尽管大型语言模型（LLMs）取得了显著进展，例如GPT-4和Claude，小规模LLMs如Llama和Mistral在生成深入且连贯的对话方面常常表现不佳。本文提出了一种新颖的两步粗细Actor模型（Coarse-to-Fine Actor）来解决小规模LLMs在会话和分析能力方面的固有局限性。所提方法始于基于策略的粗略Actor（Policy-based Coarse Actor），采用了一种被命名为“连续最大化”（Continuous Maximization）的技术。粗略Actor建立了一个增强的、知识丰富的池，能够更好地与人类偏好的分析和推理风格对齐。通过RLHF过程，它采用连续最大化策略，动态且自适应地延长输出长度限制，从而生成更详细和分析性的内容。随后，细致Actor（Fine Actor）对这些分析内容 ………………………………