北大团队打造数据流架构，实现2.8倍以上吞吐提升，解决视觉Transformer加速难题

文章预览

作为北京大学人工智能研究院和集成电路学院的双聘助理教授，李萌既懂 AI 又懂芯片。 近日，他和北京大学集成电路学院王源教授及团队设计出一款面向 Transformer 模型的高效数据流架构——HG-PIPE，并在可编程阵列逻辑（FPGA，Field Programmable Gate Array）平台上完成了实时展示。 总的来说， HG-PIPE 是一种能用于高吞吐率和低延迟 ViT（Vision Transformer，视觉 Transformer）处理的流水线架构 FPGA 加速器。 （来源：ICCAD） HG-PIPE 采用混合粒度流水线架构，因此能够降低片上缓冲区成本，其还将计算数据流和并行设计相结合，从而能够消除流水线气泡（pipeline bubbles）。 HG-PIPE 进一步引入了细致的近似设计，以实现基于查找表（LUT，Lookup Tables）的线性运算符和非线性运算符，从而能够缓解资源限制。 相比 AutoViTAcc 等现有加速器，在一块 ZCU102 FPGA 上，HG-PIPE 实现了 ………………………………