专栏名称: SegmentFault思否
SegmentFault (www.sf.gg)开发者社区,是中国年轻开发者喜爱的极客社区,我们为开发者提供最纯粹的技术交流和分享平台。
今天看啥  ›  专栏  ›  SegmentFault思否

一张顶20张H100!首款大模型专用ASIC挑战英伟达,哈佛辍学华人参与创办

SegmentFault思否  · 公众号  · 程序员  · 2024-06-27 12:00
梦晨 发自 凹非寺量子位 | 公众号 QbitAI首款大模型推理专用ASIC芯片问世,一上来就要挑战英伟达——一张顶20张H100700亿参数Llama 3吞吐量达到每秒500000(五十万)tokens比英伟达下一代芯片GB200快一个数量级,还更便宜Sohu芯片,来自初创公司Etched,一经推出就引起业界墙裂关注。作为专用集成电路ASIC,与通用计算的GPU不同,它只支持Transformer一种算法,无法运行同为神经网络的CNN、LSTM、以及Mamba等状态空间模型。‍Etched公司也刚刚完成1.2亿美元A轮融资(约8.7亿元人民币),Peter Thiel、GitHub现任CEO Thomas Dohmke等重量级天使投资人参与。公司还透露,已有某客户预定了价值数千万美元的硬件产品。今天的每个SOTA模型都基于Transformer,ChatGPT、Sora、Gemini、Stable Diffusion 3等。假如有一天Transformer被SSM、RWKV或任何新架构取代,我们的芯片将毫无价值。但如果我们 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照