南科大分享｜大数据技术如何赋能大模型训练及开发

文章预览

张松昕 南方科技大学大数据创新中心研究学者 嘉宾介绍 张松昕，南方科技大学统计与数据科学系研究学者，UCloud 顾问资深算法专家，曾任粤港澳大湾区数字经济研究院访问学者，主导大模型高效分布式训练框架的开发，设计了 SUS-Chat-34B 的微调流程，登顶 Open LLM Leaderboard、Opencompass 同参数量级模型榜首。 内容摘要 Scaling law 表明，大模型需要在互联网级别的海量数据上进行训练, 但现有的大模型训练方案基本上仍然采用过去小规模数据的简单训练范式， 难以匹配现有需求。我们从底层训练框架出发，重新设计了数据在训练过程中的生命周期,  使数据开发与模型训练解耦, 改善了大模型训练中大规模数据处理及治理的难题。从而将数据和算法在大模型开发周期中可以在同等层次上对待，还为大模型训练提供了更加灵活和智能的解决方案。这项研究 ………………………………