"景先生毕设|www.jxszl.com

基于cgan的字体风格迁移的研究与实现【字数:14052】

2024-02-25 16:58编辑: www.jxszl.com景先生毕设
字体设计是视觉艺术中不可或缺的一部分,为了从很少的已知字体生成一系列具有一致风格的字体图像,论文首先对国内外研究者对英文和中文的字体生成和风格迁移进行了分析和归纳,基于条件生成网络(CGAN)在高度风格化的字体在字形和花纹两方面设计了两个网络,并提出了一种完整的字体风格迁移网络。与过去研究者们提出的基于笔画和结构的算法不同,论文提出的方法不仅适用于一种语言,还可以迁移到不同的语言中,具有一定的普适性。在不同数量的损失函数和不同网络结构下进行了对比实验,证明了学习极少数已知字体的风格并迁移到所有字体是可行的,根据花纹生成网络实现了一款可以推广到所有语言的字体生成应用。
目录
摘要 1
关键词 1
Abstract 1
Key words 1
引言 1
1 绪论 1
1.1 研究背景及意义 1
1.2 研究现状 2
1.2.1 英文字体相关工作 2
1.2.2 中文字体相关工作 4
1.3 论文主要工作 7
2 字体风格迁移网络结构 7
2.1 核心技术原理 8
2.1.1 条件生成对抗网络(CGAN) 8
2.1.2 残差网络(ResNet) 8
2.1.3 马尔科夫过程的判别器(PatchGAN) 10
2.1.4 最小二乘生成对抗网络(LSGAN) 10
2.2 字形生成网络 11
2.3 花纹生成网络 13
2.4 字体风格迁移网络 14
3 实验 15
3.1 实验环境与数据集 15
3.1.1 硬件环境 15
3.1.2 软件环境 15
3.1.3 数据集 15
3.2 实验结果分析 16
3.2.1 花纹风格迁移 16
3.2.2 字体风格迁移 17
4 基于字体风格迁移的Web应用 20
4.1 技术架构 20
4.2 功能介绍 21
5 总结与展望 22
5.1 总结 22
 *景先生毕设|www.jxszl.com +Q: ¥351916072¥ 
5.2 展望 22
致谢 23
参考文献 23
基于CGAN的字体风格迁移的研究与实现
引言
引言
绪论
研究背景及意义
风格迁移(Style Transfer)是将一张图片的风格转移到另外一张图片上的过程,保留源图像的原本内容的同时将图像转换为指定的风格,它不仅包括静态图像的颜色、纹理和艺术表现等之间的风格转换,也逐渐扩展到了视频等动态图像中。随着硬件设备的更新换代和卷积神经网络的出现,从手动建立一个图像纹理数学或者统计模型到基于神经网络的多风格纹理生成,图像风格迁移也有的较大的发展。
近年来,生成对抗网络(Generative Adversarial Networks, GANs) 是Ian Goodfellow在2014年提出的一种无监督的学习方法[1],作为一种深度学习模型被广泛应用于计算机图像与视觉领域。GAN由于其强大的生成能力,引起了学术界和工业界的强烈关注。生成对抗网络的是训练是依赖于相互对抗的网络结构,不断强化和优化网络最终达到平衡的过程。在提出初期,网络存在着各种各样的问题,比如训练不稳定、梯度爆炸或消失等问题,后来的研究者们从理论的延神、模型结构的调整,还有训练技巧等各个方面对其进行了改进。从模型改进的角度出现了深度卷积对抗网络(Deep Convolutional GAN, DCGAN)[2]、最小二乘生成对抗网络(least square GAN, LSGAN)[3]、朴素生成对抗网络(Wasserstein GAN, WGAN)[4]等。从应用创新的角度提出了以条件生成对抗网络(conditional GANs,cGANs)[5]、pix2pix[6]、循环一致生成对抗网络(CycleConsistent GAN)[7]、StarGAN[8]等为代表的较为常用的应用方法。随着GAN在理论与模型上的不断修正与改进,它在图像生成、图像的风格迁移与翻译和图像还原等领域有着越来越出色的应用。
研究现状
英文字体相关工作
从几个字体合成全部字体的字形是研究者们长期研究的问题,早期对字形合成的研究集中于轮廓的几何建模[2527],主要依赖于显性形状来建模,构建现有的字形和新的字形之间转换关系,仅限于特定字形拓扑结构,但不能应用于装饰或手写字形,但目前在装饰和手写字形生成上也有了明显的研究进展。
Suveeranont R等人提出了一种从用户定义的英文字符示例自动生成新字体的方法[25],首先将用户给定的示例导出骨架和轮廓作为拓扑结构,然后系统可以使用模板字体中轮廓和骨架的加权混合来表示任意字体,系统提取用户绘制的单个字符的轮廓,并从数据库中计算混合权重,在数据库中搜索最相似的混合样式,以重现给定的轮廓,然后将权重应用于所有字符以合成新字体,合成效果如下图1所示。

图1 Suveeranont R等人的字体生成效果展示

图2 Campbell N D F等人的字体生成效果展示
Phan H Q等人采取部分组装方法[27],首先将给定的字形分解为小部件,设计一个字形部件库,以实现同一个字体内和同一系列字体之间的一致性,输入一个或多个基于轮廓的字母,然后从这些部分推断出完整的字体传递规则,根据预测规则组装部件来重建缺失的字母,推断出完整的字体。


图3 Phan H Q等人的字体生成效果展示
第一行和第三行为真实的字体,被标记的粉色字体为输入字母,第二行和第四行生成的字体。
Upchurch P等人提出使用改进的变分自动编码器(VAE)[9],用于解决单图像类比,即从单个输入图像生成一整套风格相似的图像,解决此问题需要将图像风格和内容进行分离,与Gatys等人[10]提出的风格迁移方法不谋而合。广义图像类比问题可表述为“A是B,C是D”,首先需要A、B和C作为图像输入,目标是生成图像D。Gatys等人使用深度卷积神经网络(CNN)的分层特征来区分内容和风格,不需要图像A,只要图像B和C,就会产生一个与C的内容和B的风格相匹配的图像D。Upchurch P等人利用监督学习来类比,编码器获取图像并将其映射到嵌入空间中,解码器将嵌入空间中形成的样式与内容切换变量组合在一起。

原文链接:http://www.jxszl.com/jsj/wljs/563951.html