目录
摘 要 III
关键词 III
ABSTRACT IV
KEY WORDS IV
1 绪论 1
1.1 研究背景及意义 1
1.2 国内外研究现状 1
1.2.1 推荐系统研究现状 1
1.2.2 Spark平台研究现状 2
1.3 研究目标与内容 3
2 相关技术介绍 3
2.1 Spark技术 3
2.1.1 Spark SQL 4
2.1.2 Spark MLlib 4
2.1.3 Spark Streaming 4
2.2 Kafka数据采集框架 5
2.3数据库技术 6
2.3.1 MySQL数据库概述 6
2.3.2 MongoDB数据库概述 6
2.3.3 Redis数据库概述 6
2.4推荐算法相关技术 6
2.4.1 基于内容的推荐 6
2.4.2 协同过滤推荐 7
2.5其他技术 8
2.5.1 ElasticSearch 8
3 基于Spark的电影推荐系统设计 9
3.1 系统需求分析 9
3.2 系统架构设计 11
3.3 系统模块设计 12
3.4 系统数据库设计 13
3.4.1数据库总体设计 13
3.4.2 数据库详细设计 13
4 基于Spark的电影推荐系统实现 17
4.1系统运行环境搭建 17
4.2 爬虫模块实现 18
4.2.1 核心原理 18
4.2.2 代理IP池设计 19
4.2.3 页面抓取与解析 20
4.2.4 多线程爬虫设计 20
4.3 基于Spark的推荐功能实现 21
4.3.1 数据加载功能 21
4.3.2 基于统计推荐功能 22
4.3.3 离线推荐功能 23
4.3.4  *51今日免费论文网|www.51jrft.com +Q: ^351916072^ 
实时推荐功能 25
4.3.5 基于类别内容推荐功能 27
4.3.6 推荐算法的优化 28
4.4 系统功能实现 29
4.4.1 用户登录功能 30
4.4.2 用户注册界面 31
4.4.3 基于统计推荐展示界面 32
4.4.4 电影搜索功能 33
4.4.5 电影资讯查看功能 34
4.4.6 电影播放功能 35
4.4.7 个人信息管理功能 35
4.4.8 离线推荐功能 36
4.4.9 实时推荐功能 37
4.4.10 新用户兴趣类别选择功能 37
4.4.11 管理员系统管理功能 38
5 总结和展望 39
5.1 本文总结 39
5.1 前景展望 40
致谢 40
参考文献 41
基于Spark的电影推荐系统的设计与实现
摘 要
近些年来电影信息资源爆炸性增长，用户在面对海量电影数据时往往无所适从，将推荐算法应用于电影推荐系统可以让用户迅速找到兴趣相符的电影。本文主要介绍一套基于Spark平台的离线、实时电影推荐系统。本文使用Movielens作为数据集，通过Java多线程爬虫爬取详细电影资讯。本文介绍的系统借助Spark SQL实现了基于统计学的热门推荐和高分电影推荐，并运用Spark MLlib中集成的TFIDF算法实现基于电影类别内容的推荐。离线推荐模块基于ALS算法获取用户的离线推荐列表和电影的相似度矩阵，实时推荐模块结合用户最新评分信息和最近观影、评分情况计算备选电影的推荐优先级，进而产生实时推荐列表，其实现借助于Spark Streaming流式处理模块。面对协同过滤算法冷启动问题，对新用户采用了基于类别标签的推荐；面对基于内容推荐算法推荐精准度不高的问题，本系统将各类推荐进行了线性加权混合，缓解了算法各自的不足。
目录
目录

原文链接：http://www.jxszl.com/jsj/jsjkxyjs/605723.html