"景先生毕设|www.jxszl.com

基于hadoop生态圈的热点新闻推送功能的实现【字数:7080】

2024-02-25 13:31编辑: www.jxszl.com景先生毕设
随着信息时代的到来,互联网上传播的信息变得越来越多。作为主要信息载体之一的新闻更是有着数量多、更新快的特性,因此人们很难在广泛的新闻中查询到自己想要的新闻。而推送功能的出现就是为了解决这种问题。但是推送功能的实现需要有着进行数据分析的平台。由于互联网上每天产生的新闻数量过于庞大,普通的数据分析平台难以处理,而hadoop自带的yarn可以对数据进行分析,自带的存储平台hdfs可以对数据进行存储。因此选取hadoop来作为本系统的数据分析平台。本设计主要是基于hadoop平台、java、jsp平台和mysql数据库平台,来实现热点新闻的推送功能。
目录
目录
摘要 4
关键词 4
Abstract 4
Key words 4
1 课题分析 5
1.1 课题背景 5
1.2 本文研究工作 6
2 技术路线及开发工具 6
2.1 技术路线 6
2.1.1 技术思路 6
2.1.2 技术路线图 6
2.2 开发技术及工具 7
2.2.1 开发技术 7
2.2.2 开发工具 7
3 功能分析与设计 8
3.1 需求分析 8
3.1.1 初步设计 8
3.2 系统设计 8
3.2.1 系统流程设计 8
3.2.2 系统功能分析 8
3.3 概念结构设计 9
3.3.1 数据库设计 9
3.3.2 ER图 9
3.4 系统核心功能设计 10
3.4.1 核心功能数据流动顺序 10
3.5 逻辑结构设计及物理设计 10
3.5.1 数据库关系表 10
3.6 模块划分 11
4 开发与实现 11
4.1 系统核心算法编写 11
4.1.1 自定义数据格式类Bean类的编写 11
4.1.2 算法核心类Recommendation类的编写 12
4.2 系统实施 *景先生毕设|www.jxszl.com +Q: ^351916072
13
4.2.1 注册登录模块 13
4.2.2 新闻偏好选择模块 13
4.2.3 偏好新闻总查询模块 13
4.2.4 新闻推荐模块 13
4.2.5 用户退出登录模块 13
5 系统测试与应用 14
5.1 系统测试运行环境 14
5.1.1 服务器端运行环境 14
5.1.2 客户端运行环境 14
5. 2系统的测试与运行 14
5.2.1 新闻偏好选择功能测试 14
5.2.2 偏好新闻总查询功能测试 14
5.2.3 新闻推荐功能测试 14
6 总结与展望 14
6.1 总结 14
6.2 展望 15
致谢 15
参考文献: 15
基于hadoop生态圈的热点新闻推送功能的实现
引言
引言 在网络发展的新时代,由于互联网的普及和信息传播技术的强大,人们获取信息的方式开始向如今的互联网转变。人们享受着互联网带来便捷的同时也引发了严重的信息过载问题[1]。根据信息类型进行分类以及根据关键词来进行搜索都是在解决信息过载问题上有一定建树的方案。但不能够完全解决这个问题,然而,推送系统在解决这个问题上有着更好的效果。它的优势主要体现在于它更加智能化和主动化的为用户提供服务。他能够根据用户自身的浏览记录以及一些偏好设置,进行属于每个用户自己的个性化分析,然后通过不断的给用户推荐得出的结果信息来对分析结果一步步优化,从而满足用户的查询需求。新闻推送系统就是推送系统的应用之一,它存在的目的就是能为用户提供他们感兴趣的新闻推荐服务。为了使个性化算法让用户获得想要的信息,就需要有着大量的数据进行数据分析。基于此,本系统选取Hadoop作为数据分析平台实现新闻推送系统[2]。
1 课题分析
1.1 课题背景
随着互联网的普及发展,人类的生活受到互联网的影响也越加广泛;现在人们查询信息的方式大多都转变成了到网络上查找自己想要的信息;并且,在这个互联网时代,在任何有网络的地方中,在任何时间中,人们都可以获取一切自己想要的信息,这让现代人们的生活获得了极大的改变。但是,人们通过使用互联网来获取便利的同时,也引发了信息过载问题。由于每个人都能轻松的在网络上发布信息,导致人们每天产生的信息量都十分庞大,网络上的信息就更加的繁多,因此一般用户很难快速的在这庞大信息量中查询到自己想要的信息。
经过我的不断查询,发现可以通过下面三个方案来解决信息过载问题:1、门户网站;所谓的门户网站就和传统的报刊杂志一样,编辑们先提前将新闻进行编辑,然后将编辑好的新闻传输到网站首页,接着根据传输时间将这些新闻进行排序,从而确保新闻的时效性。2、分类网站;分类网站主要是先根据网站的各种属性来先对各大网站进行分类操作,然后根据网站规模、与分类网站是否有商业合作等多方面对单个类别中的网站进行排序,从而有助于用户快速查询到自己想要类型的网站。3、搜索引擎,这种方法比较直观易懂,比如说现在很多人遇到想知道的信息第一反应大多是进行百度一下;这种方式在一定程度上很好地解决了信息过载问题,在这三种信息获取方式中也是最有效率的。用户可以通过搜索引擎直接在全网进行搜索匹对关键字来查找,从而获取到自己想要的信息的反馈结果。在搜索引擎的不断发展过程中,许多多种搜索核心技术被不断实现和推出,从而让用户们可以获取到更加精确且全面的结果。

原文链接:http://www.jxszl.com/jsj/jsjkxyjs/562874.html