拳打开源SOTA脚踢商业闭源的LI-DiT是怎样炼成的？（商汤/MMLab/上海AI Lab）

文章预览

作者： Bingqi Ma 等    解读： AI生成未来    文章地址：https://arxiv.org/pdf/2406.11831 今天和大家一起学习的这个工作展示的效果非常好，对提示的理解能力达到了新的高度。 仅基于解码器的 Transformer 的大语言模型（LLMs）与 CLIP 和 T5 系列模型相比，已经展示出卓越的文本理解能力。然而，在文本到图像扩散模型中利用当前先进的大语言模型的范例仍有待探索。本文观察到一个不寻常的现象：直接使用大语言模型作为提示编码器会显著降低图像生成中遵循提示的能力。本文发现了这个问题背后的两个主要障碍：一个是大语言模型中下一token预测训练与扩散模型中对有区别性的提示特征的要求之间的不一致；另一个是仅解码器架构引入的内在位置偏差。为了解决这个问题，本文提出了一个新颖的框架来充分利用大语言模型的能力。通过精心设计的使用指 ………………………………