专访原粒半导体：用「芯粒」方法重构AI芯片解决大模型推理算力需求

文章预览

2022 年底 ChatGPT 的发布带来生成式 AI 的飞速发展，大模型应用领域已经从自然语言对话等文本生成拓展到综合了文本、语音、图像、视频等多种媒介的多模态生成式 AI 场景。 传统上，大模型的训练和推理都在云端数据中心完成，全球各个大模型巨头公司都投入了重金在数据中心建设上。今年 5 月下旬以来，国内的云端大模型推理服务价格跳水，大模型进入“白菜价”时代，降价之后各种领域的 AI 应用将“遍地开花”。 大模型应用普及的同时，也给 AI 大模型服务提供商带来了巨大的成本压力。推理价格的降低，必然要求服务提供商们能够同步降低他们的推理成本，服务商们不可避免地需要从早期不计成本地的客户争夺，向“降本增效”过渡， 用更低成本的大模型推理硬件提供更多的大模型推理服务 ，是赢得“大模型大战”的重要支撑。 与此同 ………………………………