主要观点总结
本文主要介绍了关于AI学习社群、大语言模型、SysBench、HMoE、价值观对齐、CodeJudge-Eval、Transfusion以及HuggingFace的相关内容。包括奇绩大模型日报知识库的登陆信息、论文探讨预训练中代码的影响、学习率退火的缩放定律、SysBench基准测试、HMoE模型、价值观对齐方法、CodeJudge-Eval基准测试、Transfusion多模态模型以及HuggingFace的两个项目等关键点。
关键观点总结
关键观点1: AI学习社群
搭建AI学习社群，让大家学习最前沿知识，共建更好的社区生态。奇绩大模型日报知识库已登陆飞书官方社区，提供每日最新推送，欢迎交流。论文探讨预训练中代码的影响，发现代码数据在一般LLM性能中起关键作用。
关键观点2: 代码数据在预训练中的影响
研究表明，即使针对非代码设计的模型，将代码包含在数据混合中已成为一种常见做法。代码数据对一般性能有重要影响，特别是在泛化方面，提高代码质量对所有任务都有很大影响。
关键观点3: 学习率退火的缩放定律
神经语言模型的交叉熵损失曲线遵循学习率随训练步骤调整的缩放定律。这个公式可以描述每一步的完整损失曲线，并准确预测任何给定步骤和任何学习率调度器下的语言模型训练损失。
关键观点4: SysBench基准测试
SysBench是一个基准测试，评估系统消息遵循能力。包括约束复杂性、指令不一致和多轮稳定性等方面。数据集包含500条系统消息和每条消息的5轮用户对话。
关键观点5: 异构专家混合模型（HMoE）
HMoE是一种混合专家模型，其中专家在大小上有所不同，具有不同的能力。异质性允许更专业的专家处理不同的token复杂性。为解决专家激活不平衡问题，提出了新型的训练目标。
关键观点6: 价值观对齐
价值观对齐成为AI和自然语言处理领域的重要研究领域。提出了一种系统的端到端方法，将LLMs与非结构化文本数据中体现的价值观对齐。利用可伸缩的合成数据生成技术，有效将模型与隐性及显性价值观对齐。
关键观点7:
CodeJudge-Eval旨在评估LLMs的代码判断能力而非生成能力。通过多样化问题和精细化判断系统，解决了传统基准测试的局限性。
关键观点8:
Transfusion是一种用于训练多模态模型的方法，可处理离散和连续数据。通过将语言建模损失函数与扩散结合，用于训练混合模态序列上的单个Transformer。
关键观点9:
介绍了HuggingFace的Lerobot项目和Qwen2-Math-Demo的Demo。Lerobot提供用于真实世界机器人的模型、数据集和工具。Qwen2-Math-Demo支持通过文本输入数学问题解答，可通过图像或截图输入公式等文本。
文章预览
我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。 「奇绩大模型日报」知识库现已登陆飞书官方社区： https://www.feishu.cn/community/article/wiki?id=7355065047338450972 点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送 如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。 欢 迎 大 家 一 起 交 流 ！ 论文 0 1 To Code, or Not To Code？探讨预训练中代码的影响 摘要：在大语言模型的预训练中，即使是针对非代码设计的模型，将代码包含在数据混合中已经成为一种常见做法。虽然从业者之间普遍认为代码数据在一般LLM性能中起着至关重要的作用，但只有有限的研究分析了代码对非代码任务的确切影响。在本研究中，我们系统地调查了代码数据对一般性能的影响。我们提出了一个问题
………………………………
