谷歌超硬核教科书来了！Jeff Dean带货揭Gemini训练秘籍：在TPU上scaling

文章预览

   新智元报道   编辑：KingHZ 【新智元导读】 谷歌团队发布LLM硬核技术教科书，从「系统视图」揭秘LLM Scaling的神秘面纱。Jeff Dean强调书中藏着谷歌最强AI模型Gemini训练的更多信息。 由于深度学习的「黑箱」本性，从业者自我调侃道： 如果说深度神经网络是现代版的「炼金术」，我们在古代就是「炼金术士」。 2018年5月3日， Science发表新闻，标题直指「炼金术」，强调加强AI的科学基础 但这次的谷歌的团队，却有不一样的看法： 在许多方面，深度学习仍然带有一定的「炼金术」色彩，但理解和优化模型性能并不一定如此——即使是在大规模环境下！ 近日，谷歌DeepMind科学家Jacob Austint在X上， 发布了基于JAX和TPU的大模型Scaling教科书《How to Sacle Your Model》。 Jeff Dean转发原帖，并打起了广告： 谷歌最强的Gemini模型的训练，重度依赖JAX软件栈+TPU硬件平 ………………………………