文章预览
大模型智能｜分享 来源 | 量子位 作者 | 梦晨 首款大模型推理专用ASIC芯片问世，一上来就要挑战英伟达—— 一张顶20张H100 700亿参数Llama 3吞吐量达到每秒500000（五十万）tokens 比英伟达下一代芯片GB200快一个数量级，还更便宜 Sohu芯片，来自初创公司Etched，一经推出就引起业界墙裂关注。 作为专用集成电路ASIC，与通用计算的GPU不同，它只支持Transformer一种算法，无法运行同为神经网络的CNN、LSTM、以及Mamba等状态空间模型。 Etched公司也刚刚完成1.2亿美元A轮融资（约8.7亿元人民币），Peter Thiel、GitHub现任CEO Thomas Dohmke等重量级天使投资人参与。公司还透露，已有某客户预定了价值数千万美元的硬件产品。 今天的每个SOTA模型都基于Transformer，ChatGPT、Sora、Gemini、Stable Diffusion 3等。 假如有一天Transformer被SSM、RWKV或任何新架构取代，我们的芯片将毫无价值
………………………………
