谷歌AI掌门人Jeff Dean对话Transformer作者：AI提速300%，1000万倍工程师要来了

文章预览

   新智元报道   编辑：犀牛 【新智元导读】 谷歌首席科 学家Jeff Dean与Transformer作者Noam Shazeer在一场访谈中 不仅揭秘了让模型速度提升三倍的低精度计算技术，分享了「猫神经元」等早期AI突破的背后故事，还大胆畅想了AI处理万亿级别Token、实现「1000万倍工程师」的可能性。 如果没有「Attention Is All You Need」这篇论文，今天的AI会是什么样子？ Jeff Dean，谷歌的首席科学家，和Transformer的作者Noam Shazeer，最近在一场深度访谈中，不仅回顾了AI发展的关键时刻，还大胆预测了未来的方向。 他们揭秘了模型蒸馏、MoE架构的内幕，甚至讨论了如何让AI模型处理整个互联网的信息！ 访谈内容十分丰富，看点十足。 低精度让模型快三倍 「最近，我感觉基于通用CPU的机器扩展性不如以前了。」Jeff说。 他表示，制造工艺的改进现在需要三年时间，而不是以前的 ………………………………