清华腾讯联手发布ColorFlow：AI着色技术新突破，赋能漫画、动画与老照片修复
北京—— 图像序列着色技术迎来重大突破！由清华大学与腾讯ARC实验室联合研发的ColorFlow模型正式发布，这项创新技术不仅能精细化地保持图像序列中个体身份，还能实现高度一致的色彩还原，为漫画、动画制作、老照片修复等领域带来革命性的变革。
ColorFlow：超越现有技术的着色新标准
ColorFlow并非简单的着色工具，它融合了检索增强、上下文学习和超分辨率等多项前沿技术，旨在解决传统着色方法中存在的色彩不一致、细节丢失等问题。该模型在图像序列着色领域展现出卓越的性能，在提升CLIP-IS、降低FID、增加PSNR和SSIM得分及提高AS等关键指标上，均超越了现有技术水平，为艺术行业树立了新的着色标准。
三大核心技术构建ColorFlow强大引擎
ColorFlow的核心技术主要体现在以下三个方面：
-
检索增强管道（RAP）： 该管道通过预训练的CLIP图像编码器，从庞大的参考图像库中提取与输入黑白图像最相关的彩色图像块，为着色过程提供精准的色彩指导。这确保了着色结果与参考图像的色彩高度一致，避免了传统着色方法中常见的色彩漂移问题。
-
上下文着色管道（ICP）： ICP利用强大的上下文学习能力，准确检索颜色身份。该管道采用双分支设计，其中一个分支负责整合条件信息，另一个分支则基于U-Net扩散模型逐步整合特征，实现像素级的条件嵌入。通过轻量级LoRA（Low-Rank Adaptation）方法对预训练的扩散模型进行微调，ColorFlow在保留其着色能力的同时，也提高了计算效率。
-
引导超分辨率管道（GSRP）： 为了解决着色过程中的下采样问题，GSRP将低分辨率的着色输出进行上采样，生成高分辨率的彩色图像。该管道结合高分辨率黑白图像，增强细节恢复，提升输出质量，确保最终的彩色图像清晰锐利。
此外，ColorFlow还采用了自我注意力机制、时间步采样策略和屏幕风格增强等技术，进一步提升了着色效果。自我注意力机制将参考图像和灰度图像放在同一画布上，提取特征并逐层输入到扩散模型中进行着色；时间步采样策略则调整采样策略，强调在更高时间步长上的采样，增强着色效果；屏幕风格增强则通过对灰度图像和ScreenVAE输出进行随机线性插值，增强输入图像的风格适应性，提升着色性能。
ColorFlow的应用场景：从漫画到电影，潜力无限
ColorFlow的应用场景十分广泛，涵盖了以下几个主要领域：
- 漫画和卡通着色： ColorFlow能够快速将黑白漫画或卡通图像转换为彩色版本，极大地提高了漫画家和动画制作者的创作效率。
- 老照片修复： 为历史上的黑白照片提供色彩，帮助恢复旧时代的照片原貌，让历史更加鲜活。
- 电影和视频后期制作： ColorFlow可用于黑白电影的彩色化，或为现代电影制作提供特定的颜色分级效果，为影视行业带来新的创意空间。
- 艺术创作： 艺术家可以利用ColorFlow为黑白艺术作品添加颜色，或在创作过程中探索不同的颜色方案，激发艺术灵感。
- 教育和学习： 在教育领域，ColorFlow可作为工具帮助学生理解颜色对图像的影响，以及学习图像处理和计算机视觉的基本概念。
开源开放，共同推动AI技术发展
为了推动AI技术的发展和应用，ColorFlow项目已开源，相关资源包括：
- 项目官网： zhuang2002.github.io/ColorFlow
- GitHub仓库： https://github.com/TencentARC/ColorFlow
- HuggingFace模型库： https://huggingface.co/TencentARC/ColorFlow
- arXiv技术论文： https://arxiv.org/pdf/2412.11815
- 在线体验Demo： https://huggingface.co/spaces/TencentARC/ColorFlow
结语
ColorFlow的发布标志着图像序列着色技术迈向了新的高度。其强大的技术能力和广泛的应用前景，预示着它将在未来为艺术创作、历史影像修复和影视制作等领域带来深远的影响。清华大学和腾讯ARC实验室的合作，也为学术界和产业界的合作树立了典范，共同推动人工智能技术的发展和应用。
参考文献：
- Zhuang, et al. (2024). ColorFlow: Retrieval-Augmented In-Context Colorization for Image Sequences. arXiv preprint arXiv:2412.11815.
- ColorFlow GitHub Repository: https://github.com/TencentARC/ColorFlow
- ColorFlow Hugging Face Model Hub: https://huggingface.co/TencentARC/ColorFlow
- ColorFlow Project Website: zhuang2002.github.io/ColorFlow
（完）
Views: 0