基于Mamba架构的，状态空间音频分类模型AUM

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ Transformer凭借强大的自注意力机制，成为文本、音频、视频等模型的基础架构之一。但其计算复杂度随着序列长度的增加而呈指数级增长，这在处理长序列数据时会出现严重的效率问题。 韩国高等科学技术院的研究人员受最新的Mamba架构启发，开发了首个没有自注意力机制纯粹状态空间的音频分类模型Audio Mamba（下面简称“AUM”）。 状态空间是Mamba架构的核心功能之一，这是一种用于描述和预测系统状态随时间变化的数学模型，通过维护一个隐藏状态来映射输入序列到输出，可帮助模型能够以线性时间复杂度高效处理数据，无论序列多长都没有问题。 论文地址：https://arxiv.org/abs/2406.03344 AUM架构简 ………………………………