史上最快AI芯片「Sohu」，速度10倍于B200，哈佛辍学生打造

文章预览

机器之心报道 编辑：泽南、杜伟 生成式 AI 推理性价比是 GPU 的 140 倍。 大模型时代，全球都缺算力，买铲子的英伟达市值被炒上了天。 现在，终于有一家公司带着自己的 AI 芯片来叫板了。 今天凌晨，科技圈迎来了一个重要新闻。美国芯片创业公司 Etched 推出了自己的第一块 AI 芯片 Sohu，它运行大模型的速度比英伟达 H100 要快 20 倍，比今年 3 月才推出的顶配芯片 B200 也要快上超过 10 倍。 一台 Sohu 的服务器运行 Llama 70B 每秒可输出超过 50 万个 token，比 H100 服务器（23,000 个 token / 秒）多 20 倍，比 B200 服务器（约 45,000 个 token / 秒）多 10 倍。 Sohu 是世界第一款专用于 Transformer 计算的芯片，历时两年打造。 作为一块 ASIC（专用集成电路），Sohu 把对于 transformer 架构的优化硬化在芯片中，无法运行大多数「传统」的 AI 模型：如为 Instagram 广告提供支持的 ………………………………