Flash Attention—获斯坦福首届开源软件奖

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 5月23日，TogetherAI在官网宣布，由其首席科学家TriDao、学术合伙人DanFu、AI顾问StefanoErmon等联合发明的FlashAttention，获得斯坦福首届开源软件奖。 本次参与评选的开源项目一共超过75个，FlashAttention能获得认可主要是因为，该项目对大模型领域做出了重要贡献，可极大提升Transformer架构的训练和推理效率。 FlashAttention是一种对注意力计算进行重新排序的算法，利用经典技术（平铺、重新计算）大大加快了计算效率，并将内存使用量从序列长度的二次方降低到线性。 平铺意味着开发人员可将输入块从HBM（GPU内存）加载到SRAM（快速缓存），针对该输入块执行注意力计算，并更新HBM中的输出。 通过不把大 ………………………………