谷物产量图数据异常值检测方法研究【字数:10626】
目录
摘 要 III
关键词 III
ABSTRACT IV
KEY WORDS IV
引言 1
1 绪论 1
1.1 研究意义与背景 1
1.2 论文组织结构 2
2 技术现状和需求分析 3
2.1 技术现状 3
2.2 需求分析 3
3 空间异常探测方法理论研究 5
3.1 空间邻域构建 5
3.1.1 Delaunay三角网构建空间邻域 5
3.1.2 顾及轨迹属性的空间邻域构建 5
3.2 基于Delaunay三角网的空间离群挖掘 5
3.2.1 DT_SOF算法介绍 5
3.2.2 DT_SOF算法实现 5
3.3 SLOF异常检测算法 6
3.3.1 SLOF算法介绍 6
3.3.2 SLOF算法实现 6
3.4 基于多层次专题属性约束的空间异常探测方法 6
3.4.1 MTACSOD算法介绍 6
3.4.2 MTACSOD算法实现 7
3.5 基于DBSCAN聚类的空间异常探测方法 7
3.5.1 算法介绍 7
3.5.2 算法实现 7
4 数据处理及异常值检测 9
4.1 冲击信号处理 9
4.1.1 信号降噪处理 9
4.1.2 信号转换 10
4.2 数据预处理 11
4.2.1 数据规整化 11
4.2.2 合成整体数据并生成产量图 11
4.2.3 明显异常点处理 12
4.3 空间异常值检测 12
4.3.1 DT_SOF空间异常检测及数据分析 13
4.3.2 SLOF空间异常检测及数据分析 14
4.3.3 MTACSOD空间异常检测及数据分析 14
4.3.4 基于DBSCAN聚类的异常检测及数据分析 15
4.4 添加人工噪声异常值检测 16
*51今日免费论文网|www.51jrft.com +Q: ^351916072#
4.5 算法对比分析 17
5 谷物产量图数据补全 18
5.1 产量图数据补全思路 18
5.2 产量图数据补全与分析 18
5.2.1 反距离平方插值算法介绍 18
5.2.2 异常数据补全并产量图生成 18
5.2.3 产量图比较分析 19
6 总结与展望 21
6.1 总结 21
6.2 展望 21
致谢 22
参考文献 22
谷物产量图数据异常值检测方法研究
摘 要
谷物产量图数据作为典型的空间数据,已被越来越多的科研工作者所关注。挖掘谷物产量图数据将对谷物产量图的重构提供巨大的帮助,也将为农田生产管理提供关键支持。首先通过相应的信号降噪算法和数据转换算法,对收割机采集的原始谷物产量冲击信号做降噪处理,并实现将降噪后的谷物产量冲击信号转化为农田谷物产量图数据。然后根据谷物产量图数据的空间属性,对每个观测点构建其空间邻域,并结合对象的非空间属性,再对观测点进行不同方式的处理。在处理过程中,紧密联系对象的空间属性与非空间属性,确定观测指标,筛选出谷物产量图数据中偏离大部分对象的异常数据集,并对比各种数据处理方式的异常检测效果。最后对筛选出异常数据集后的谷物产量图数据实现产量图补全,并通过人工剔除正常数据然后再补全的方式来分析产量图补全效果。
引言
绪论
研究意义与背景
目前国内外农田收割机采集信号的方法主要有射线法、光电容积法、称重法、冲量法等,但是每种方法都存在着一些限制和不足[1],其中冲量式的谷物流量传感器因为安装方便、造价不高、工作安全且没有污染而备受关注[2]。本研究将针对冲量式谷物流量传感器采集的冲击信号进行数据挖掘。由冲量式谷物测产传感器采集的冲击数据,再结合全球GPS定位系统实时反馈的位置信息,可以得到大量的空间观测数据。这些数据对农田决策管理有着至关重要的作用,但这些数据的使用必须十分谨慎,它们包含了部分有缺陷的观测点,这些观测点的异常总的来说可以归为以下四类:收割机收割过程;水分影响;定位系统的精准度;收割机操作员的操作方式。[3]由此造成的异常观测点必将对谷物产量图的绘制造成影响。因此在对谷物产量图进行进一步的分析前,必须先挖掘谷物产量数据中的异常值。
目前空间异常探测方法主要可以分为(1)、基于图形的方法;(2)、基于距离的方法;(3)、基于密度的方法;(4)、基于图论的方法;(5)、基于智能学习的方法;(6)基于聚类的方法。基于图形的方法是根据一定的准则将空间数据可视化,使得空间异常表现直观,常采用变量云和散点图等,此类方法缺点诸多,且无法用于海量数据的异常识别。基于距离的方法的基本思想是在空间邻域内通过度量该实体与其空间邻域内其他实体间的专题属性值差异,利用统计检验指标识别空间异常[4]。基于密度方法是在基于距离的方法上改进而来的,它不明确指明一个数据对象是否是离群点,而是评估一个对象可能为离群点的程度,通过局部离群因子来度量数据点的离群程度,数据对象的局部离群因子越大,则该对象是离群点的可能性越大[5]。基于图论的思想在于将空间数据转化为图形后,从图形结构中探测空间异常。基于智能学习的方法是直接从数据出发,通过机器学习的方法对空间数据进行建模分析以探测空间异常。基于聚类的方法是将聚类后未归入任何空间簇的对象视为空间异常。
原文链接:http://www.jxszl.com/jsj/jsjkxyjs/605759.html