谷歌&MIT何恺明团队：视觉大模型像LLM一样高效Scaling，指路连续token+随机生成顺序

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 量子位 作者 | 梦晨 视觉自回归模型的Scaling，往往不像在语言模型里那样有效。 谷歌 何恺明团队 联手，有望打破这一局面，为自回归文生图模型的扩展指出一个方向： 基于连续token的模型比离散token模型在视觉质量上更好。 随机顺序生成与光栅顺序相比在GenEval测试上得分明显更好。 受到这些发现启发，团队训练了 Fluid ，一个基于连续标记的随机顺序自回归模型。 扩展至百亿参数的Fluid在MS-COCO 30K上zero-shot条件下实现了6.16的FID分数，并在GenEval基准测试中获得了0.69的整体得分。 团队希望这些发现 ………………………………