目录
摘要 1
关键词 1
Abstract 1
Keywords 1
1 绪论 2
1.1 研究目的及意义 2
1.1.1 研究目的 2
1.1.2 研究意义 2
1.2 国内外研究现状 3
1.2.1 卷积神经网络 3
1.2.2 生成对抗网络 3
1.3 研究内容 5
2 基于深度学习的图像上色方法 6
2.1 基本流程 6
2.2 具体方法 6
2.2.1 网络架构及原理 6
2.2.2 生成器模型架构 7
2.2.3 判别器模型架构 9
2.2.4 模型训练 10
2.2.5 模型测试 10
3 结合组归一化的图像上色方法 11
3.1 组归一化介绍 11
3.2 使用组归一化的图片上色方法 12
4 结合实例归一化的图像上色方法 12
4.1 实例归一化介绍 12
4.2 使用实例归一化的图片上色方法 13
5 结合L2范数损失函数的图像上色方法 13
5.1 L1、L2范数损失函数介绍 14
5.2 添加L2范数损失函数的图像上色方法 14
6 算法评估 15
7 总结 15
致谢 16
参考文献 16
基于深度学习的自动上色技术
引言
1 绪论
1.1 研究目的及意义
1.1.1 研究目的
灰度图像彩色化即是对灰度图像利用算法实现自动转换为彩色图片，其在老旧照片修复、画作修复、动漫制作上有着非常重要的作用，具有较为广泛的使用场景。近年来，随着此需求的日益增长，计算机辅助彩色化技术受到了众多研究人员的广泛关注。
图像彩色化是一种信息补足技术，它的难点在于如何利用原始图像信息得到合理的颜色信息。传统的彩色化方法可分为2大类：1）局部颜色扩散法[1,2]；2）对图像进行颜色转移法[3,4]。局 *景先生毕设|www.jxszl.com +Q: ^351916072# 
部颜色扩散法依靠人为标记一些彩色像素点，然后通过邻域漫水填充或变分等方法给图像进行上色处理。但是，上述方法需要人为标记初始的彩色扩散像素点和颜色，不方便进行彩色化过程。颜色转移法是利用一幅或多幅具有类似场景和颜色分布的参考图像，使得颜色分布迁移到目标图像上。但是此类方法同样需要人为标定参考图像，并且比较合适的参考图在某些比较复杂的场合下不好寻找。
为了应对以上方法中都需要人工参与的缺点，因此深度学习的图像上色的方法[5,6]应运而生。深度神经网络对语义提取以及拟合能力有很好的效果，对灰度图像内多个目标的语义内容进行识别，从而达到更符合人类逻辑的上色操作，比如把草地的颜色定为绿色，天空为天蓝色。Cheng等人[5]提出了一种利用场景聚类，使用像素级特征的深度神经网络，并对多个不同场景分别进行训练，但受限于聚类算法中的聚类数也就是场景数量是有限的，并且泛化性较差，无法把它在其他场景图像中进行使用。Zhang等人[6]提出将彩色化问题转化为一个对图像中像素点进行分类的问题，并构建深度卷积神经网络实现自动转彩色的效果，同时引入了稀疏人为标注信息[7]让着色更加自然，但使用的是分类损失，比较容易出现错误上色和颜色溢出的问题。Iizuka等人[8]提出了一个双元神经网络模型，融合了图像的局部特征与全局特征，让灰度图像转得的彩色图像更加连贯；不过有些场景与真实图像仍然存在明显的差距。Larsson等人[9]利用VGG网络及超级柱模型提出了像素级颜色分类网络，但存在模型过大和颜色单调的问题。
基于深度学习的灰度图像彩色化的方法大多采用端到端模型,预测所有像素点的各个像素值,所以就将其可看为一个生成模型,最终彩色化转换结果只依据生成模型所使用的损失函数进行反向传播优化。但灰度图像彩色化的过程是一项复杂的流程，而且不易对人眼对彩色化质量的评判过程进行量化，所以并非单一损失函数所能进行判别。
本次设计研究生成对抗网络，并对其进行改进，构建生成器的网络和判别器的网络，实现单一网络下的含多目标图像的自动彩色化方法。
1.1.2 研究意义
图像上色是对灰度图像进行伪彩色化[10]的过程，可以应用在众多领域中，例如动漫产业、医学影像处理等，具有很高的研究价值。人类肉眼只能分辨出十几种灰度等级，可是在对彩色的观察中，人眼却可以分辨出数万种颜色。由此可见，灰度图像对人眼的影响远比彩色图像要小。此外，灰度图像上色会对图像的特征提取以及表达有更好的效果。同时，上色后的图像还能更好地表明图像中的语义信息、加强图像原本的特点、更契合人类的认知从而传达更多的信息，使图像的语义和信息能够被更快、更好的发现，从而实现图像价值最大化。
图像上色技术能够应用于更多的领域，比如在遥感测绘领域中，图像上色技术具有很大的作用；在医学图像领域中，图像伪彩色化在X光、CT、MR等医学的图像处理上被广泛应用。这些图像原本是灰度图像，在对这些灰度图像进行上色后所生成的图像，容易把图像中的某些不易察觉的病理特征突显出来，有利于医生对于病人病症的发现，从而增加病人康复的几率并减少医患纠纷的发生。
1.2 国内外研究现状
1.2.1 卷积神经网络

原文链接：http://www.jxszl.com/jsj/jsjkxyjs/563916.html