科学家提出存内计算全新技术路径，提升AI模型计算能效3个数量级

文章预览

随着大数据时代 AI 模型参数量激增，AI 模型推理和训练的成本日益增高，使得 AI 模型难以有效地被布署到边缘计算设备中。 存内计算技术是加速 AI 模型的主流路径，它通过在存储器内部原位计算减少数据的搬运，来提高芯片算力与能效。 但是，需要了解的是，传统存内计算（single-IMC，single-in-memory computing）架构仍然需要在存储器和处理器之间进行数据传输，仅部分地解决了数据搬运的问题，限制了 AI 模型加速器的进一步发展。 为了解决上述问题，北京大学 孙仲 研究员团队设计了一种全新技术路径的存内计算架构，称为“双存内计算”（dual-IMC，dual in-memory computing）。 该架构能够最大程度地加速 AI 模型中的矩阵-向量乘法（MVM，matrix-vector multiplication）计算，如卷积神经网络、二值神经网络、Transformer 模型等，从而实现高速、高能效的 AI 模型推 ………………………………