文章预览
来源：专知 本文 为论文介绍 ，建议阅读 5 分钟 我们的教程提供了关于使用AI加速器进行推理优化的全面讨论。 强大的基础模型，包括具有Transformer架构的大型语言模型（LLMs），在各个行业引领了生成式人工智能的新纪元。基础模型的出现催生了大量新应用，这些应用涵盖了问答系统、客户服务、图像和视频生成以及代码补全等多个领域。然而，当模型参数数量达到数千亿时，在现实场景中的部署会带来高昂的推理成本和高延迟。因此，业界对使用AI加速器进行成本效益高且快速推理的需求越来越高。为此，我们的教程提供了关于使用AI加速器进行推理优化的全面讨论。 首先，我们概述了基本的Transformer架构和深度学习系统框架，然后深入探讨了用于快速和内存高效的注意力计算的系统优化技术，并讨论了这些技术如何高效地在AI加速器上实现。接
………………………………
