任意模态输入输出？语音/文本/图像/音乐都拿下！ 复旦提出AnyGPT：序列建模的统一多模态 LLM

文章预览

↑ 点击 蓝字  关注极市平台 作者丨科技猛兽 编辑丨极市平台 极市导读   本文 提出 AnyGPT，一种 any-to-any 的多模态大语言模型。采用离散的表征统一处理语音、文本、图像和音乐等多种不同模态信号。文章构建了一个多模态，以文本为中心的数据集 AnyInstruct-108k。该数据集利用生成模型合成，是一个大规模多模态指令数据集。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 本文目录 1 AnyGPT：序列建模的统一多模态 LLM (来自复旦大学，上海 AI Lab) 1 AnyGPT 论文解读 1.1 从多模态输入文本输出，到多模态输入多模态输出 1.2 AnyGPT 多模态分词器 1.3 AnyGPT 基座模型 1.4 AnyGPT 生成过程 1.5 AnyGPT 数据集 1.6 实验结果 太长不看版 AnyGPT 是一种 any-to-any 的多模态大语言模型，它可以处理多种模态数据，包括语音、文本、图像和音乐。不同于之前的多模态大模型 ………………………………