大模型如何做音乐？最新89页《音乐基础模型》综述

文章预览

摘要——近年来，大规模基础模型（FMs）如大型语言模型（LLMs）和潜在扩散模型（LDMs）对包括音乐在内的各个领域产生了深远的影响。 本综述全面考察了音乐领域的最先进（SOTA）预训练模型和基础模型，涵盖了表示学习、生成学习和多模态学习 。我们首先将音乐在各行业中的重要性置于背景之中，并追溯了人工智能在音乐领域的发展历程。通过分析基础模型针对的多种模态，我们发现许多音乐表示在基础模型的发展中仍然未被充分探索。 接着，我们重点探讨了以往方法在多样化音乐应用中的局限性，以及基础模型在音乐理解、生成和医学应用中的潜力。通过全面探讨模型预训练范式、架构选择、标记化、微调方法和可控性，我们强调了诸如指令调优和上下文学习、规模法则和涌现能力、长序列建模等重要议题，应该得到更多关注。我们还专门 ………………………………