随着大数据与人工智能时代的到来，数据分析日益成为这个时代不可或缺的技术与技能。本课题主要是完成了“影视数据的分析及展示”设计与制作。本课题影视数据分析主要是使用Python编写的爬虫对豆瓣上部分电影的字段进行采集，然后进行数据分析，从而提取出有用信息，最大化的有效利用数据价值。本课题包含数据爬取、数据存储，数据清洗及数据分析，最后通过可视化进行展示。本项目使用Python语言进行数据的爬取及可视化，利用了MySQL进行数据的存储，及使用HTML+jQuery进行统一展示。
目 录
第一章 引言 1
第二章 需求分析 2
2.1 设计需求分析 2
2.2 技术介绍与环境 2
2.2.1 开发工具简介 2
2.2.2 基本网络知识 3
2.2.3 网页基础 5
2.2.4 爬虫原理 5
2.2.5 Python库了解 6
第三章 系统总体设计 8
3.1 Python编写爬虫 8
3.2 爬取内容存储 8
3.3 数据图表化 8
第四章 详细爬取实现 9
4.1 爬取目标 9
4.2 爬取目标网址 9
4.3 数据爬取步骤 9
第五章 数据处理 17
5.1 数据清洗 17
5.2 语言转换 17
5.3 类型及语言统计处理 17
第六章 数据可视化及简单分析 19
6.1 年份及电影数量关系 19
6.2 年份及电影类型关系 20
6.3 地域和电影关系 22
6.4 电影所使用语言 22
6.5 电影评分与数量关系 23
6.6 电影时长与评分关系 24
6.7 演员词云图 24
6.8 作者词云图 25
第七章 系统测试 27
7.1 可视化网站搭建 27
7.2 网站访问测试 27
第八章 总结和展望 28
8.1 总结 28
8.2 展望 28 *景先生毕设|www.jxszl.com +Q: @351916072@ 

致谢 29
参考文献 30
一、 引言
随着大数据与人工智能时代的到来，数据分析日益成为这个时代不可或缺的技术与技能。在此背景下，Python语言在数据分析领域占据了一席之地[1]。随着时代的发展，人们业余文化生活水平的提高，每年上映电影数量的增加，其中包含许多有价值的信息，这些信息有助于导演发现观众口味，创作出更多优秀电影，有助于演员提高自己的表演水平，更有助于观众发现自己的观影风格，了解更多电影，由此引发了本系统的开发。通过此系统可以很好的发现出电影所带来的信息，让我们来通过这份系统了解大千世界中电影的魅力。为了收集大量、真实、可靠的电影信息，为电影预测研究提供强有力的数据支撑。将数据来源方向瞄向互联网，在前期筛选的基础上，最终确立以豆瓣网为目标网站[9]。
二、 需求分析
设计需求分析
本设计遵循自顶向下，逐层分解的方法去完成本项任务，需要的数据是从豆瓣得到。进行存储是采用数据库，为了方便操作同时采用了MySQL数据库管理系统进行操作。使用Python的Pandas及NumPy模块进行数据的清洗及整理，同时采用Python的扩展功能PyEcharts功能模块进行处数据的展示。设计需求分析如图21所示。
/
图21 设计需求分析图
技术介绍与环境
开发工具简介
环境配置：本机所使用的操作系统为Windows10 专业版的64位操作系统，机器运行内存为8G 处理器为Intel Core i5支持最大主频为2.20GHZ，添加Python环境变量Python版本为3.7.1。
Python语言
Python是一门开源的面向对象的脚本语言，其最大的特点就是简介性及它的易理解性质，Python语言凭借其清晰划一的风格，近年来使用率逐渐增高[3]。Python的设计定位是优雅，简单，即用最简单的，最有效的风格完成一件事情。Python的执行可以是交互式的或者内置编译器编译成机器语言从而执行。一般情况下， Python语言程序经常用于数据分析。Python技术在某种程度上还能够实现对各种Web信息数据信息的提取[4]。通过C语言设计的一些底层算法进行封装， 进而利用Python语言进行调用，由于算法模块较为固定，因此可直接调用Python语言，既方便又灵活。
MySQL数据库管理系统
MySQL数据库管理系统是当下主流的关系数据库管理系统，它最主要的优点是他的开源性，这为数据库的安全及减少开发成本提供了大量优势。在MySQL中，创建数据表和修改数据表时可以对表的各列进行一些操作， 用以约束用户对表进行非法的记录插入和更新[7]。
Navicat
这是一个数据库管理软件，有了他可以减少在命令行下对数据库的操作，使用它可以进行数据库的创建修改工作如存储所爬数据内容的库的创建等，还可以进行表的修改，内容的插入删除等，这大大提高了工作效率。
PhPStudy
这是一款集合工具，集合了Apache+PHP5.3+PHP5.4+MySQL等包，之所以选择这个工具，更多的是减少MySQL数据库安装所遇到的一系列问题，这个工具最大的便捷之处就是少了许多所谓的环境配置问题，这对自己所做的项目是有很大的益处的。
PyCharm
PyCharm是一种Python IDE，之所以本次项目选择这个IDE工具，因为它的许多高级功能对Python语言编辑有着极大的优势，如语法高亮，智能提示，自动完成，这些功能对于一个新手来开发一个项目是有很大好处的。
谷歌浏览器
这是一款用于浏览网页的工具，之所以使用这项工具是因为PyEcharts生成的可视化html界面，使用此款浏览器打开速度较快。
其他

原文链接：http://www.jxszl.com/jsj/jsjkxyjs/564478.html