NeurIPS 2024｜大模型的词表大小，同样适用于Scaling Law

文章预览

↑ 点击 蓝字  关注极市平台 作者丨机器之心 来源丨机器之心 编辑丨极市平台 极市导读   本研究通过训练包含不同词表配置的模型（参数范围从 33M 到 3B，字符数最多 500B），提出了三种方法来预测计算最优的词表大小：基于 FLOPs 的、基于导数的和基于损失函数参数拟合的估计方法。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 第一作者陶超凡（Chaofan Tao）是香港大学（HKU）的四年级博士生，导师是黄毅教授和罗平教授。他本科毕业于电子科技大学的英才荣誉学院。他的研究论文发表在ACL、EMNLP、ECCV、NeurIPS、ICML、T-NNLS等期刊和会议上。他获得了 ACL 2022 年的杰出论文奖。陶超凡的研究兴趣包括：1) 高效机器学习与模型加速：以低成本对模型进行高效调优和部署。2) 支持多种任务的通用大型模型，涵盖不同模态。 本文是一篇发表在 NeurIPS ………………………………