主要观点总结
AI大神李沐在上海交大的演讲中,分享了AI创业的心得和感悟,包括大模型的算力、技术、多模态趋势、应用现状等,以及AI创业的挑战和动力。演讲强调了高质量数据和算法的重要性,以及AI在不同领域的应用和发展潜力。李沐还分享了自己在不同阶段(包括在大公司、读PhD和创业)的经验和动机,强调了持续自我提升和明确目标的重要性。
关键观点总结
关键观点1: AI创业心得
李沐分享了在AI领域的创业经验,包括大模型技术、多模态趋势、应用现状等,以及创业中的挑战和动力。
关键观点2: 高质量数据和算法的重要性
李沐强调了高质量数据和算法在AI发展中的重要性,并指出数据决定了模型的上限,算法决定了模型的下限。
关键观点3: AI在不同领域的应用和发展潜力
李沐探讨了AI在不同领域(包括文科白领、工科白领、蓝领等)的应用和发展潜力,以及AI对未来世界的变革。
关键观点4: 不同阶段的经验和动机
李沐分享了自己在不同阶段(包括在大公司、读PhD和创业)的经验和动机,强调了明确目标和持续自我提升的重要性。
关键观点5: 持续自我提升和明确目标
李沐建议通过定期总结、明确目标、持续自我提升来推动个人和事业的发展。
文章预览
AI大神李沐在母校上海交大的演讲火了。 在这场一个半小时的演讲里,李沐从大模型的算力和技术、多模态趋势、应用现状聊到了自己的AI创业心得、以及创业的痛苦和感悟。 可以说,比他那篇创业回顾(《 李沐:创业一年,人间三年 》)信息量更大。 一些有意思的点: 机器学习是老中医,深度学习特别是大语言模型像炼丹,数据是炼丹的材料,算力是炼丹的火力和设备,算法就是丹方了。丹方每年都在进步,即使丹方一样,细节不一样结果也会很不一样。 内存是目前模型尺寸的一大瓶颈,英伟达虽然是领先者,但在这块的技术不如AMD和TPU。 语言模型参数规模的主流会在100B-500B之间,比较好的一线的模型就是 500B,超过 500B 不是训练不动,而是做 serving 很难。在谷歌历史上,他们就没有让 500B 以上的模型上过线。 音乐模型的制约不是技术问题
………………………………