基于生成对抗网络的图像自动生成研究【字数:11668】
目录
摘要1
关键词1
Abstract1
Key words 1
绪论1
1 国内外研究现状2
1.1 国外研究现状2
1.2 国内研究现状3
1.3 本论文研究内容3
1.4 文字生成图像概述3
1.5 本章小结4
2 深度学习与生成对抗网络5
2.1 深度学习5
2.1.1 卷积计算(Convolution) 5
2.1.2 转置卷积计算(Deconvolution) 5
2.1.3 卷积神经网络(Convolution Neural Network,CNN)6
2.1.4 门控循环单元网络(Gated Recurrent Unit GRU)7
2.2 生成对抗网络8
2.2.1 生成器8
2.2.2 判别器8
2.2.3 优化过程9
2.3 本章小结9
3 基于生成对抗网络的文字生成图像模型研究9
3.1 模型数据集9
3.2 结构分析 10
3.2.1 文体特征提取块 11
3.2.2 图像生成块 11
3.3 实验设置与结果分析 13
3.3.1 实验设置 13
3.3.2 第一部分实验 13 *景先生毕设|www.jxszl.com +Q: ^351916072*
3.3.3.第二部分实验 15
3.4 本章小结 17
4 文字生成图像结果展示 17
4.1 软件设计方案 17
4.1.1 功能描述 17
4.1.2 系统开发环境 17
4.2 基于生成对抗网络的文字生成图像可视化界面展示 18
4.3 本章小结 20
5 结论 20
致谢 21
参考文献 21
基于生成对抗网络的图像自动生成研究
引言
绪论
生成对抗网络(Generative Adversarial Nets,GAN)的模型和思想是2014年由蒙特利尔大学的Ian Goodfellow等人提出的,该模型受启发自博弈论,它的优化过程是一个“二元极小极大博弈”问题[1]。生成对抗网络中生成器(Generator)和判别器(Discriminator)是互相优化、互相影响的结构,这种特性使训练过程中人工参与的成分降到很低,模型将在训练过程中分别更新判别器和生成器的参数,最终目的是使用训练后的生成器生成符合要求的目标。在生成对抗模型提出后,它和它的衍生模型在很多领域被广泛研究和应用,例如合成音乐、视频生成,行为预测等方向,甚至被应用于医药研制,用以模拟生成合成药物所需的各成分的准确比例。但生成对抗网络最突出的贡献在图像以及文本与图像转换的领域,其具体应用有图像合成、风格迁移、超分辨率图像、图像修复和人脸识别等[2]。众多实验结果表明生成对抗网络生成的样本比其他神经网络模型更加逼真[3]。
文字生成图像技术是生成对抗网络研究中图像领域的一个分支。相对于其他数据而言,文本数据最为简单易得。如果可以借助生成对抗网络由文字生成图像样本,将会有效缓解数据集的问题,为图像领域深度学习的研究提供新的选择。同时由计算机完成文字到二维图片的转化也会推动艺术领域的发展,就像Alpha Go为围棋的发展一样,带来新的可能和变革。
1 国内外研究现状
1.1 国外研究现状
生成对抗网络是深度学习在近几年的进一步发展,它的主要原理是来源于博弈论中一种叫零和博弈的模型。由于其在图像处理领域有着巨大的潜力,自其概念于2014年被提出,与之相关的研究就没有停止过,2017年起与之相关的论文和研究更是呈井喷式出现。
/
图1 GAN近几年论文发表情况
生成对抗网络的发展流程也是传统深度学习积累的经验在新技术中的革新的一种体现。最开始的模型只有生成器和判别器,生成结果无法控制。2015年Alec Radford等人提出了基于深度卷积网络的条件式生成对抗网络(Deep Convolutional Generative Adversarial Networks,DCGAN),这种网络结构的特点即是使用了卷积层,这使它更擅长于提取样本的特征,并且在一定程度上可以控制生成样本的内容[4]。2016年提出的基于能量的生成对抗网络EBGAN[5]和2017年提出基于Wasserstein距离的Wasserstein GAN (WGAN)[6]在优化损失函数的角度优化了GAN的训练过程,从而大幅提升了GAN的性能。2016年提出的StackGAN[7]则为GAN的训练提供了新的思路,把大问题分解为小问题,将样本的训练过程分解为两部分,构建了双层的GAN训练模型。截至目前,据Github相关项目The GAN Zoo统计,已经有500多种基于生成对抗网络的模型改进机器变种。
从发展方向和解决的问题来看,生成对抗网络主要被应用于图像合成、风格迁移、超分辨率图像和图像文字相互转换等图像处理工作、加入了循环神经网络的序列数据处理工作,比如音乐合成、语音处理和视频生成等方向。不可否认的是,生成对抗网络的加入给这些或传统或新颖的技术注入了新的活力,并给其结果带来了很大的提升。
1.2 国内研究现状
原文链接:http://www.jxszl.com/jsj/wljs/563980.html