基于深度学习模型的文献未来研究句子识别与探究【字数：11958】
目录
摘要 3
关键词 3
Abstract 3
Keywords 3
引言 4
一、相关研究 4
二、实验流程 5
（一）数据标注 5
（二）文本向量化 6
（三）训练和测试语料构建 7
三、 模型介绍 8
（一）条件随机场模型 8
（二）LSTMCRF模型 8
（三）SVM模型 9
（四）BERT模型 10
（五）BERTLSTMCRF模型 11
四、 实验效果及评价 11
（一）评价指标 11
（二）CRF模型训练测试结果 12
（三）LSTMCRF模型训练测试结果 13
（四）BERT模型训练测试结果 14
（五）BERTLSTMCRF模型训练测试结果 15
（六）SVM模型训练测试结果 16
（七）实验效果对比 17
五、总结 18
致谢 18
参考文献 19
图1 实验流程 5
图2 空格分隔符 7
图3 Tab分隔符 7
图4 线性链CRF模型的拓扑结构 8
图5 LSTMCRF示意图 9
图6 待分类数据 10
图7 分类平面M 10
图8 分类平面N 10
图9 BERT示意图 11
*景先生毕设|www.jxszl.com +Q: ￥351916072￥
/> 图10 序列标注模型输出示例 12
表1 CRF模型十折交叉测试结果 13
表2 LSTMCRF模型十折交叉测试结果 13
表3 BERT模型十折交叉测试结果 14
表4 BERTLSTMCRF模型十折交叉测试结果 15
表5 核函数选择测试结果 16
表6 SVM模型十折交叉测试结果 16
表7 SVM模型十折交叉测试结果 17
基于深度学习模型的文献“未来研究”句子识别与探究
引言
引言
一、相关研究
大数据和深度学习技术的飞速发展，学术全文本研究越来越受到国内外研究人员的重视，但文献“未来研究”相关内容识别与挖掘的探究实验目前还未成为研究热点，国内外大型数据库中能够检索到与本文实验方向紧密相关的文献仅有一篇，Hu和Wan[1]提出了一种基于正则表达式的方法来解决“未来研究”内容提取的问题；其次，他们基于观察数据和分析数据，将未来研究工作分为四类，进一步细化未来研究句子的类别归属；此外，他们将内容提取方法和分类模型应用在计算机科学领域的论文数据集上，并在开放测试中设计了一个原型系统来搜索和展示从科学论文中挖掘到的“未来研究”相关内容。这与本文的研究较为相似，但他们的研究方法集中于类别组合和分类识别，并未从序列标注的角度实现句子级别的短文本识别和提取。
虽然“未来研究”相关内容尚未有成熟的研究方案和成果，但在在数字图书馆，文献识别和文本挖掘领域的相关文献中，已有许多关于信息提取和挖掘的相关研究课题。到目前为止，经典机器学习模型如支持向量机模型（Support Vector Machine），隐马尔可夫模型（Hidden Markov Model），条件随机场（Conditional Random Field），马尔可夫逻辑网络（MLN）等已广泛应用于研究论文的各种信息提取任务。Cronin B [2]等手工提取了10年来著名的社会学期刊中的Acknowledgements部分，并在此研究基础上开发了一种自动确认提取算法，用以确认文本段落并提取已确认的实体名称，并扩展CiteSeer[3]的原生知识捕获功能，在心理学和哲学期刊进行了类似的Acknowledgements部分识别提取研究[4]。“相关研究工作”部分的识别也已经进行了探索，Duy C等[5]提出了一种相关研究总结系统，该系统基于以重要性程度分层的关键词集合，以规则策略方式来生成和展示学术文献中相关研究部分的主要内容。
相较于传统机器学习模型，深度学习模型在短文本数据识别实验中应用更加广泛，李文宽等[6]利用Convolutional Neural Networks在提取深层特征上的优势,结合传统句子分类方法提出一种CRNNaive Bayes句子分类模型，并在Cornell University公开数据集和Stanford University情感分类数据集的测试实验中取得了不错的效果。Ma M等[7]综合利用了深度学习方法和语言结构知识，提出了一种基于树的Convolutional Neural Networks（CNN），该模型利用了单词之间的各种长距离关系，解决了原生卷积神经网络单向处理单词向量而忽略了长距离依赖性的问题，并在TREC上实现了最高的公布准确度。实验证明能够处理语料前后长距离单词共现和依赖等特征关系的模型，在句子级别的提取实验中能够取得较好的结果，这也为本文的实验模型选择提供了重要参考依据。Zhang Y等[8]提出了一种多组范数约束卷积神经网络（MGNCCNN），该模型独立地从输入嵌入集中提取特征，不需要输入字嵌入具有相同的维度，这使得模型的总体训练时间减少，同时更加灵活，但其在句子分类实验中的效果要优于基线模型。
原文链接：http://www.jxszl.com/jsj/xxaq/564023.html
