文章预览
自OpenAI推出了o1系列大模型，大模型的范式变了：提高AI模型的推理（Reasoning）能力，不仅可以靠预训练和后训练，还可以靠经过强化学习加持的推理（inference）了。这同样改变了AI的计算范式，推理计算的重要性进一步提升。 对于AI模型的推理芯片，更快、更小、更节能是非常重要的指标。此前我们介绍过的多款AI推理芯片，都在往这些方向努力，例如d-Matrix、etched、Groq。 而有一家公司采用了新的数学方法，在保证模型推理精度的同时，让AI推理芯片更小，能耗更低，速度更快。 它们的第一代端侧推理芯片 以25W的功耗达到1000 TOPS算力 ，功耗比能达到40 TOPS/W，远超英伟达的4.58 TOPS/W， 用它们的推理芯片搭建的算力系统，比同规模的英伟达H200系统在每Token输出时间（TPOT）方面快6.4倍。 这家叫Recogni的AI芯片公司在C轮融资中获得1.02亿美元，领投方是Cele
………………………………
