大模型训练成本降一半！厦大和vivo联合推出预训练新策略，给LLM降本增效

文章预览

夕小瑶科技说 原创 作者 | 王志豪 鱼与熊掌可以兼得，厦门大学和vivo AI lab联合提出预训练学习率调整新策略，降低训练42%成本的同时，还能保持大模型效果，该成果已发表于AI领域的顶级会议EMNLP2024。 近年来，大语言模型（Large Language Models, LLMs）的研究取得了重大进展，并对各个领域产生了深远影响。然而，LLMs的卓越性能来源于海量数据的大规模训练，这导致LLMs的训练成本明显高于传统模型。此外在实际应用中，新数据的不断涌现使LLMs需要不断进行版本更新来保持性能优势，这加剧了LLMs的训练成本。为了探索如何在降低训练成本的同时确保不同版本LLMs的性能，来自厦门大学和vivo的研究员共同展开研究，在EMNLP2024联合提出了一种能更好地平衡版本更新时LLMs的性能和成本的训练范式，并应用于vivo的蓝心大模型训练。 论文标题： A Learning Rate Path S ………………………………