阿里达摩院提出开源AI图片上色模型DDColor:可以为黑白照片、人物、动漫风景等一键上色!

主要观点总结

文章介绍了DDColor这一图像着色技术，该技术采用双解码器方法，包括像素解码器和基于查询的颜色译码器，旨在解决图像着色中的多模态不确定性和高病态性问题。DDColor能够为历史黑白老照片和动漫游戏中的风景提供生动自然的着色，并且在实验上表现优异。

关键观点总结

关键观点1: DDColor的技术特点

采用双解码器方法，包括像素解码器和基于查询的颜色译码器；通过交叉注意进行颜色和多尺度语义表征，显著缓解了颜色出血效应；引入了一种简单而有效的色彩损失来增强色彩的丰富度。

关键观点2: DDColor的性能表现

在数量上比现有的最先进的作品具有优越的性能和定性；能够为历史黑白老照片和动漫游戏中的风景提供自然着色的效果。

关键观点3: 文章的结构和内容

文章首先介绍了图像着色的挑战性和现有方法的不足，然后介绍了DDColor的技术细节，包括视觉对比、方法概述、实验和总结。此外，还提供了相关链接、论文阅读、公众号关注等信息。

文章预览

DDColor 可以为历史黑白老照片提供生动自然的着色。它甚至可以对动漫游戏中的风景进行着色/重新着色，将您的动画风景转变为逼真的现实生活风格！ 相关链接 项目：github.com/piddnad/DDColor Demo：replicate.com/piddnad/ddcolor 论文：arxiv.org/abs/2212.11613 论文阅读 摘要 图像着色是一个具有挑战性的问题，由于 多模态不确定性和高病态性。直接 训练深度神经网络通常会导致错误 语义色彩和色彩丰富度低。虽然基于转换器的方法可以提供更好的结果，但它们经常依赖 在人工设计的先验上，泛化能力差，而且会引入色差效应。 为了解决这些问题，我们提出了一个端到端 图像着色用双解码器方法。我们的方法包括一个像素解码器和一个基于查询的颜色 译码器。前者恢复图像的空间分辨率 而后者则利用丰富的视觉特征进行细化 颜色查询，从而避免手工制作的 ………………………………