摘 要随着社会的发展和生活水平的提高，现在的应届毕业生关注的重点就是找工作和租房子，目前租房网站以及APP众多，从而使人们不能直观的去了解房源信息，所以需要一个可以把尽可能多的房源信息整合到一起的平台，该平台要实现对目标网站房源数据的采集以及实现数据可视化的功能，这样，人们就可以通过该平台来检索房源信息，可以通过数据可视化的展示了解整体房源状况。当今社会，对于日益增长的毕业生，他们可以很方便地从该系统了解到目标城市的租房现状，从而有助于做出适合自己的选择。本课题综合应用大数据专业的多项技术，多方面对苏州租房市场进行分析与展示，为有需求的用户提供一个比较直观以及容易做出选择的平台，具有较高的市场应用价值。
目 录
一、引言 1
（一）背景意义 1
（二）研究内容 1
二、关键技术介绍 1
（一）Python 1
（二）Requests 1
（三）Xpath 1
（四）Pandas 1
（五）正则表达式 2
（六）Matplotlib 2
（七）Echarts 2
（八）Html+CSS 2
三、数据采集与存储 3
（一）结构分析 3
（二）数据获取 4
（三）数据存储 5
四、数据清洗 6
（一）数据去空处理 6
（二）数据一致处理 7
（三）数据拆分 8
（四）提取字段 9
（五）保存清数据 9
五、数据分析 10
（一）计算最值 10
（二）计算平均值 11
（三）数据排序 12
（四）分类汇总 12
六、数据可视化 14
（一）可视化大屏界面 14
（二）可视化详细介绍 15
（三）可视化总结 20
七、总结和展望 20
八、致谢 21
参考文献 22
附录 各部分详细代码 23
引言
（一）背景意义
随着应届生的日益增加， *51今日免费论文网|www.51jrft.com +Q: @351916072@ 
在外工作租房子成了他们必不可少的事项。虽然目前的租房系统网站以及APP众多，但是这些网站以及APP不能很直观的了解当前城市租房的现状，导致他们不能及时找到自己心仪的房子，面临目前的现状，本系统将解决此类问题为人们提供一个直观的平台。本文将通过对贝壳网站苏州城市租房数据的采集、清洗、分析、可视化来直观展现苏州城市租房现状。
（二）研究内容
本文采用网络爬虫获取贝壳租房网站数据，基于python设计语言进行数据清洗和分析，使用Echarts实现数据可视化。数据采集部分包含：网站分析、数据获取和数据存储；数据清洗部分包括：检测与处理缺失值、检测与处理异常值；数据分析部分包括：分类汇总、计算最值；可视化部分包括：地区可视化、房源信息可视化、房源占比可视化。
关键技术介绍
（一）Python
Phthon是一个高层次的脚本语言，其优点是的联合了解释性、互动性、编译性和面向对象的。并且Python的设计具有超强的可读性，相对于其他编程语言，它的页面足够简单，代码足够详细，其次它的语法结构比较有特色。
Pyhon具有解释性，这就意味着在开发过程中不需要进行编译，从而使开发变得更简单；Python程序设计语言足够简易，非常适合初学者的学习，是一种伟大的语言，几乎支持所有的应用程序开发，从简单的文字处理、数字计算到游戏的开发。
（二）Requests
Requests是Python程序设计语言的第三方库，是基于urllib，使用Apache2 Licensed许可证开发的HTTP库，Requests可以轻松完成浏览器相关的任何操作。
Requests可以模拟请求浏览器，比起上一代的urllib库，更容易实现爬虫对于网页的获取。能够实现自动响应。
（三）Xpath
Xpath是一门在XML文档中定位查找信息的语言，通过元素和属性进行定位，同时适用于HTML文档的检索，所以在爬虫方面完全能够使用Xpath做相应的信息抽取。
Xpath的定位选择功能非常强大，拥有非常简洁明了的路径选择表达式。拥有超过100个内建函数，用于字符串、数值、时间的匹配以及序列、节点的处理等，几乎网页上所有想要定位的节点都可以使用Xpath来实现。
（四）Pandas
Pandas是基于Numpy的一种工具，该工具可以解决数据分析问题，Pandas包含大量库和一些规范的数据模型，为数据分析提供了高效处理，拥有大量能够使我们快速便捷地处理数据的函数以及方法。
Pandas可以通过它实现对数据进行快速读取、转换、分析等操作。Pandas在数据处理方面很受欢迎，支持多种数据格式，甚至可以对CSV和Excel文件进行读取、处理；可以实现数据对齐，空值处理以及数据的排序与计算最值、平均值。Pandas包还是免费的。
（五）正则表达式
正则表达式，又称规则表达式，正则表达式是一种字符串匹配的模式，通常是检查一个字符串是否含有某个字串；替换匹配的子串；可以提取某个字符串中匹配的子串。
正则表达式的灵活性、逻辑性和功能性比较突出；能够使用极其简单的方式达到字符串的复杂控制。但是对于新手来说，正则表达式不是很容易上手操作。
（六）Matplotlib
Matplotlib是当今最著名的绘图库，它主要用于二维绘图，不但提供了一整套和Matlab相似但更为丰富的命令，能够让我们十分快捷地使用。
Matplotlib能够实现绘制折线图、散点图、等高线图、柱状图、条形图以及图形动画等。
（七）Echarts
Echarts是一款基于JavaScript的数据可视化图表库，里面包含了很多不同样式的图表供使用，可以很容易的通过Echarts绘制出自己想要的图表；能够实现在PC端和移动设备上流畅运行，兼容目标大部分浏览器。
Echarts的特点有：网站包括丰富的可视化类型，可以轻松便捷地实现各种图表，比如：折线图、柱状图、圆环图、饼图等，甚至可以实现地图的绘制，拥有上百种图形，一句话概括：只有你想不到的图形，没有它做不到的。可以美观地向用户呈现出数据大屏，可以通过大屏更直观的了解自己想得到的信息。

原文链接：http://www.jxszl.com/jsj/wlw/607593.html