中国工程院院士刘韵洁：协同训练是大模型训练必由之路

文章预览

在9月28日举行的2024中国算力大会主论坛上，中国工程院院士刘韵洁发表了题为《确定性网络助力中国算力网高质量发展》的主旨演讲，深入探讨了确定性网络对于推动中国算力网高质量发展的重要性，并针对大模型训练提出了协同训练的建议。 刘韵洁表示，数据要素是人工智能和大模型发展的基础，而网络、算力、数据交换平台和安全构成了数据基础设施的四大支柱。面对AI未来的发展，他认为有三大挑战：大模型对网络的新需求、空间计算的推广和智能体（如人形机器人）的发展。同时，他指出当前网络带宽的增长速度远低于GPU的增长速度，带宽瓶颈逐渐显现，这对算力传输提出了更高的要求。 针对这些挑战，刘韵洁强调了确定性网络的重要性。他提到，国家数据局发布的“数联网”指南对网络的确定性提出了高要求，包括千公里传输抖动不 ………………………………