生成理解统一模型解读 (一)｜Transfusion：只用一个模型搞定图像生成和理解任务！

文章预览

↑ 点击 蓝字  关注极市平台 作者丨科技猛兽 编辑丨极市平台 极市导读   本文介绍了一种名为 Transfusion 的多模态模型，它通过结合语言建模（文本）和扩散模型（图像）的训练目标，实现了在单一模型中无缝生成离散文本和连续图像。研究通过大规模实验表明，Transfusion 在多模态任务上表现出色，生成质量和效率均优于现有的离散化图像处理方法，并在图像生成和文本生成任务中达到了与专门模型相当的性能。  >> 加入极市CV技术交流群，走在计算机视觉的最前沿 太长不看版 一个模型完成图像生成和理解任务的先驱。 Transfusion 是一个既能做图像理解，又可以做图像或者文本生成任务的，从头训练的 Transformer 模型。Transfusion 的训练数据是图像文本混合模态的数据，训练的目标函数是 Diffusion Loss (常用于训练图像生成模型) 和 Language Modeling Loss (Next ………………………………