李沐：大模型发展趋势与个人职业选择

文章预览

思源Source报道 点击下方 卡片 ，关注“ 自动驾驶之星 ” 这里有一群奋斗在自动驾驶量产第一线的小伙伴等你加入Introduction 编辑：seefun 2024.8.23，李沐学长回交大讲座纪要。 李沐学长在讲座中介绍了大语言模型的发展趋势，创业Boson.AI的心得体会，以及个人职业选择（PhD，打工 or 创业） 李沐学长在今天上海交通大学的讲座上，分享了过去两年在大语言模型训练、部署、产品化、和基础架构上的一些实际经验，对大语言模型未来趋势做一些预测，以及个人职业生涯选择上的一些建议； 大语言模型 与传统AI一样，LLM（大语言模型）的三大基础依然是： 算力， 数据， 算法 从硬件上看，摩尔定律依然活着。 带宽和存储的增长或许逼近极限，但更低bit数据格式带来了更大的通量和更快的速度。由于显卡规模的增大，水冷散热变得非常必要。 由于大语言 ………………………………