文章预览
“ 问 渠 那 得 清 如 许 ， 为 有 源 头 活 水 来 ” ， 通 过 前 沿 领 域 知 识 的 学 习 ， 从 其 他 研 究 领 域 得 到 启 发 ， 对 研 究 问 题 的 本 质 有 更 清 晰 的 认 识 和 理 解 ， 是 自 我 提 高 的 不 竭 源 泉 。 为 此 ， 我 们 特 别 精 选 论 文 阅 读 笔 记 ， 开 辟 “ 源 头 活 水 ” 专 栏 ， 帮 助 你 广 泛 而 深 入 的 阅 读 科 研 文 献 ， 敬 请 关 注！ 01 Scaling Laws with Vocabulary: Larger Models Deserve Larger Vocabularies 研究对大规模语言模型（LLMs）的扩展主要集中在模型参数和训练数据规模上，忽视了词汇量大小的作用。本文通过训练从3300万到30亿参数的模型，并使用高达5000亿字符的不同词汇配置，研究了词汇量大小如何影响LLM扩展法则。作者提出了三种互补的方法来预测计算最优的词汇量大小：等FLOPs分析、导数估计和损失函数的参数拟合。本文
………………………………
