Groq收购Definitive Intelligence公司，或将进一步威胁英伟达地位

文章预览

2016 年，谷歌张量处理单元 TPU 的发明者乔纳森·罗斯（Jonathan Ross），在美国加利福尼亚州山景城创建了一家名为 Groq 的 AI 芯片公司。 经过几年的发展，这家致力于生成式 AI 解决方案的企业，已经构建了旨在大规模实现低延迟、节能和可重复推理性能的 LPU 推理引擎，并希望实现这样一个使命，即创建 AI 经济，以让任何有绝妙创意的人都能使用并负担得起。 过去几天，这家长期以来一直处于隐身状态的公司，在互联网上引发较大的轰动。 Groq 基于自研 LPU 推理引擎，让 Mixtral 8x7B 等开源大语言模型能够以几乎每秒 500 个 token 的速度运行，并在大多数基准测试中击败了以每秒 40 个 token 的速度运行的 GPT-3.5。（编者注：token 指的是 AI 训练过程中处理文本的最小单元。） 显而易见，如果推理速度像 LPU 这样快的芯片在今后变得越来越普遍，那么用户等 ………………………………