自回归视觉生成里程碑！比ControlNet和T2I-Adapter 快五倍！北大&腾讯等重磅发布CAR

主要观点总结

本文主要介绍了一种新的可控视觉生成方法——可控自回归建模（CAR）。CAR框架作为插件，整合条件控制机制到多尺度潜变量建模中，允许在预训练的视觉自回归模型中进行高效的控制生成。实验结果表明，CAR框架在可控性和图像质量方面均优于现有方法，并能显著降低计算成本。

关键观点总结

关键观点1: 提出的可控自回归建模（CAR）框架。

CAR框架是一种新的视觉生成方法，旨在探索自回归模型在可控图像生成任务中的潜力。它通过整合条件控制机制到多尺度潜变量建模中，实现了在预训练的自回归模型中进行高效的控制生成。

关键观点2: CAR框架的技术细节。

CAR框架采用了多尺度潜变量建模，用于捕捉和细化控制表示。通过将条件控制机制整合到自回归生成的每个步骤中，实现了细粒度的控制。此外，CAR框架还通过融合图像表示和控制信息，在生成过程中逐步注入控制信号，以引导生成过程。

关键观点3: 实验结果表明CAR框架的优势。

实验结果表明，CAR框架在可控性和图像质量方面均优于现有方法。与预训练的自回归模型相比，CAR框架在实现良好泛化能力的同时显著减少了训练资源需求。此外，消融研究还表明，CAR框架中的每个组件都对提高生成结果的质量和可控性起着重要作用。

文章预览

关注 「 AIWalker 」 并 星标 从此AI不迷路 作者： Ziyu Yao等     解读： AI生成未来  文章链接：https://arxiv.org/pdf/2410.04671 项目链接：https://github.com/MiracleDance/CAR 亮点直击 CAR是首个为自回归模型家族设计的灵活、高效且即插即用的可控框架。 CAR基于预训练的自回归模型，不仅保留了原有的生成能力，还能在有限资源的情况下实现可控生成——所用数据量不到预训练所需数据的10%。 设计了一个通用框架来捕捉多尺度的控制表示，这些表示具有鲁棒性，并能无缝集成到预训练的基础模型中。 大量实验表明，CAR在各种条件信号下实现了精确的细粒度视觉控制。CAR有效地学习了这些条件的语义，能够在训练集中未见过的类别上实现鲁棒的泛化。 总结速览 解决的问题： 当前的视觉生成模型主要有两种技术路径：扩散模型和自回归模型。扩散模型在生成控制 ………………………………