我们应该拥抱“脉动阵列”吗- 对 Google TPU 可扩展性的思考

文章预览

作者简介：吕坚平博士, 神经网络早期探索者之一，早在上世纪九十年代耶鲁大学攻读博士期间就开创性地结合神经网络与信号处理，在NIPS上发表的工作被工业界广泛使用。他先后在Nvidia、MediaTek和Intel担任资深架构师和资深总监的职务，现任异构智能（NovuMind）VP of Engineering。 近日Google在 In-Datacenter Performance Analysis of a Tensor Processing Unit 的论文中 公开了 TPU (Tensor Processing Unit)  的技术细节和基于脉动阵列 ( Systolic Array)  的矩阵运算性能，该论文也成为了最近最热门的论文之一。 TPU 主要是围绕着基于脉动阵列的矩阵乘法器建制而成。但因为脉动阵列本身扩充性不高，我主张我们应该继续找寻其他替代方案。 为什么关注矩阵乘法? Google 声称TPU在性能和 ………………………………