哈佛学生辍学造AI芯片，比英伟达还强！

文章预览

哈佛学生辍学造AI芯片，居然比英伟达下一代芯片还强，还因此 获得1.2亿美元的融资 ， 美国芯片 创业公司Etched ，近日推出 首款AI芯片Sohu ， 专为Transformer计算设计 。 该芯片运行Llama 70B时，每秒处理超过 50万个令牌 ，比英伟达H100服务器 多20倍 ，甚至比英伟达下一代B200要 多10倍 ，具体来看 Sohu 的运行速度相当于一秒内生成21个人一天说的话，此外芯片通过设计，允许它在不牺牲精度的情况下输出更多FLOPS，实现了 90%以上的 FLOPS 利用率 ， 远高于GPU的30%左右 ，内存带宽也不再是瓶颈。 当然极限的性能背后是极端的操作， Sohu 是专用于Transformer架构的芯片 ， 只能运行Transformer架构的模型 ，因此无法运行传统AI模型，如DLRM、 AlphaFold 2或Stable Diffusion 2以及CNN、RNN或LSTM等，引用创始人的话， 如果Transformer不再是主流 ，那我们 就会失败 。 关注AI领域技 ………………………………