英伟达提出ComfyGen：通过LLM来生成匹配文本的工作流。

文章预览

ComfyGen的核心在于通过LLM来匹配给定的文本提示与合适的工作流程。该方法从500个来自用户的多样化提示生成图像，随后使用一系列美学预测模型对生成结果进行评分。这些评分与相应的工作流程形成了一个训练集，包含提示、工作流程及其得分的三元组。 然后提出了两种方法来生成提示特定的工作流程：一种是基于调优的方法，利用用户偏好数据进行学习；另一种是无训练的方法，利用LLM从现有工作流程中选择合适的流程。这两种方法均显示出相较于传统模型和通用工作流程在图像质量上的显著提升。 以下为 ComfyGen 方法在不同的领域和风格中生成的高质量图像。 相关链接 论文阅读：http://arxiv.org/abs/2410.01731v1 项目主页：https://comfygen-paper.github.io/ 论文阅读 摘要 文本到图像生成的实际用途已从简单的单片模型发展为结合多个专用组件的复杂工作 ………………………………