主要观点总结
AI大神李沐在上海交大的演讲中，分享了AI创业的心得和感悟，包括大模型的算力、技术、多模态趋势、应用现状等，以及AI创业的挑战和动力。演讲强调了高质量数据和算法的重要性，以及AI在不同领域的应用和发展潜力。李沐还分享了自己在不同阶段（包括在大公司、读PhD和创业）的经验和动机，强调了持续自我提升和明确目标的重要性。
关键观点总结
关键观点1: AI创业心得
李沐分享了在AI领域的创业经验，包括大模型技术、多模态趋势、应用现状等，以及创业中的挑战和动力。
关键观点2: 高质量数据和算法的重要性
李沐强调了高质量数据和算法在AI发展中的重要性，并指出数据决定了模型的上限，算法决定了模型的下限。
关键观点3: AI在不同领域的应用和发展潜力
李沐探讨了AI在不同领域（包括文科白领、工科白领、蓝领等）的应用和发展潜力，以及AI对未来世界的变革。
关键观点4: 不同阶段的经验和动机
李沐分享了自己在不同阶段（包括在大公司、读PhD和创业）的经验和动机，强调了明确目标和持续自我提升的重要性。
关键观点5: 持续自我提升和明确目标
李沐建议通过定期总结、明确目标、持续自我提升来推动个人和事业的发展。
文章预览
AI大神李沐在母校上海交大的演讲火了。 在这场一个半小时的演讲里，李沐从大模型的算力和技术、多模态趋势、应用现状聊到了自己的AI创业心得、以及创业的痛苦和感悟。 可以说，比他那篇创业回顾（《 李沐：创业一年，人间三年 》）信息量更大。 一些有意思的点： 机器学习是老中医，深度学习特别是大语言模型像炼丹，数据是炼丹的材料，算力是炼丹的火力和设备，算法就是丹方了。丹方每年都在进步，即使丹方一样，细节不一样结果也会很不一样。 内存是目前模型尺寸的一大瓶颈，英伟达虽然是领先者，但在这块的技术不如AMD和TPU。 语言模型参数规模的主流会在100B-500B之间，比较好的一线的模型就是 500B，超过 500B 不是训练不动，而是做 serving 很难。在谷歌历史上，他们就没有让 500B 以上的模型上过线。 音乐模型的制约不是技术问题
………………………………
