基于全自动与点交互模型融合的一致性图像着色方法

《IEEE Access》:Consistent Fully Automatic Image Colorization Due to Bridging Fully Automatic and Point Interactive Models

【字体: 大 中 小 】 时间:2025年12月30日 来源:IEEE Access 3.6

编辑推荐:

  本刊编辑推荐:为解决全自动图像着色模型存在的色彩不一致问题,研究人员开展了一项结合全自动与点交互模型的创新研究。通过将全自动模型作为提示生成器、点交互模型作为传播器,该方法在无需人工干预的情况下显著提升了色彩一致性和视觉真实性。实验表明该框架能有效改善连续区域的色彩连续性,为图像着色领域提供了即插即用的解决方案。

  
在数字图像处理领域,给黑白照片上色一直是个充满挑战的任务。想象一下,当我们面对一张历史悠久的黑白照片时,如何能智能地还原出真实自然的色彩?这正是图像着色技术要解决的核心问题。近年来,随着深度学习技术的发展,全自动图像着色方法取得了显著进展。这些方法能够直接对灰度图像进行着色,无需人工干预,大大提高了处理效率。然而,这些看似智能的系统却存在一个致命缺陷——它们经常产生色彩不一致的结果。比如在连续的物体表面会出现斑驳的颜色分布,或者颜色会不受控制地"溢出"到相邻区域,导致视觉效果极不自然。
另一方面,交互式着色方法虽然能够通过用户提供的色彩提示点产生更加一致的结果,但它们严重依赖人工输入。当缺乏足够的色彩提示时,生成的照片往往会显得灰暗、缺乏活力。这种两难境地就像是在"色彩丰富但不自然"和"自然但色彩单调"之间做选择,让研究者和使用者都感到困扰。
针对这一难题,庆应义塾大学的研究团队在《IEEE Access》上发表了一项创新研究,提出了一种巧妙融合两种方法优势的全新框架。他们设计了一个既保持全自动处理的便利性,又能获得交互式方法一致性的智能着色系统。
研究团队采用的核心技术方法包括:首先使用预训练的全自动着色模型(如DDColor、Colorformer、BigColor)作为提示生成器,然后通过随机采样或基于Segment Anything Model(SAM)的分割采样策略提取色彩提示点,最后利用点交互着色模型iReWindColor作为提示传播器,实现色彩的连贯传播。整个流程在ILSVRC2012和COCO-Stuff数据集上进行评估,采用PSNR(峰值信噪比)、FID(弗雷歇 inception 距离)和CF(色彩丰富度)等指标进行量化分析。

主要研究结果

消融实验:提示生成器与提示数量分析

通过系统比较不同全自动着色模型作为提示生成器的效果,研究发现当使用DDColor作为提示生成器时,在仅使用10个提示点的情况下就能达到最佳平衡。随着提示点数量的增加,色彩一致性得到改善,但过多的提示点(超过100个)反而会重新引入色彩不一致问题。这一发现为实际应用中的参数设置提供了重要指导。

采样策略比较研究

研究团队对比了随机采样和基于分割的采样两种策略。随机采样在保持色彩一致性方面表现更优,而基于分割的采样则能提供更丰富的色彩多样性。特别是在处理包含大面积背景的图像时,基于分割的方法能够确保前景和背景都获得适当的色彩提示,从而产生更加生动的着色效果。

定量评估结果

在ILSVRC2012验证集上,基于DDColor的 proposed 方法在PSNR指标上达到24.99(使用1个提示点)和24.68(使用10个提示点),显著优于原始DDColor模型的23.98。同时,FID指标从0.53改善到1.46,表明生成图像的质量更加接近真实图像分布。色彩丰富度(CF)虽然有所下降(从39.23降至32.62),但这恰恰反映了该方法成功抑制了不自然的色彩变化,实现了更加协调的视觉效果。

视觉质量改善

视觉对比结果显示,该方法有效解决了传统全自动着色中的色彩不一致问题。特别是在连续结构区域,如建筑物的墙面或人物的服装,色彩传播更加均匀自然。同时,颜色溢出到物体边界的问题也得到了明显改善,保持了清晰的边缘细节。

研究结论与意义

这项研究的核心价值在于提出了一种创新的模型融合思路,成功地将全自动着色模型的色彩丰富性与点交互模型的传播一致性相结合。该方法的最大优势在于其即插即用的特性——无需重新训练模型,直接利用现有的预训练模型就能实现性能提升。
从技术层面看,该研究揭示了深度学习模型中"生成"与"传播"两个关键功能的可分离性。通过将这两个功能分配给专门的模型处理,不仅解决了实际问题,还为其他计算机视觉任务提供了新的思路。例如,类似的方法可能适用于图像修复、风格迁移等需要平衡创造性与一致性的任务。
研究的局限性主要在于提示采样策略的相对固定性。目前的采样方法尚未充分考虑图像内容的结构特性,这在某些复杂场景下可能导致色彩不连续。未来工作的一个重要方向是开发基于图像内容的自适应采样机制,动态确定最优的提示位置和数量。
这项研究为图像着色领域带来了新的突破,其提出的框架设计理念对促进预训练模型的有效复用具有重要启示意义。随着模型多样性的不断增加,这种注重可重用性的设计思路将在未来的计算机视觉研究中发挥越来越重要的作用。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号