摘 要近年来，随着互联网技术的不断发展与成熟，推动了二手房市场结构的转变与升级。于此同时也带来了诸多问题。本课题采用Requests、Parsel、Pandas、ECharts等大数据技术，采集互联网平台二手房信息，设计和开发了苏州二手房数据分析可视化系统。本课题的主要内容如下(1)数据爬取和数据存储。在了解网站主要结构后，采用循环爬取、嵌套爬取的方式收集二手房信息并存储为csv文件；(2)数据清洗。删除空值，将部分数据字段进行拆分、替换，对预进行计算数据做类型转换；(3)数据分析。对数据进行频数统计、均值计算等操作；(4)分析结果可视化展示。使用Echart对数据以柱形图、饼图、散点图等多种形式展示。本课题综合应用大数据专业的多项技术，多维度分析苏二手房市场的发展趋势，为市场管理者和参与者提供决策依据，具有较高的市场应用价值。
目 录
一、 引言 1
（一）背景意义 1
（二）研究内容 1
二、 关键技术介绍 2
（一）Requests 2
（二）Parsel 2
（三）Pandas 2
（四）Echarts 3
三、数据采集与存储 3
（一）结构分析 3
（二）数据获取 4
（三）数据存储 5
四、数据清洗 6
（一）数据浏览 7
（二）数据去空处理 7
（三）数据字段替换 7
（四）数据拆分处理 8
（五）数据类型转换 9
（六）保存清洗后数据 9
（七）循环处理 9
五、数据分析 9
（一）频数统计 10
（二）计算均值 10
（三）保存分析后数据 11
（四）散点图数据的处理 11
六、数据可视化 13
（一）网页结构搭建 13
（二）可视化图表制作 20
（三）可视化大屏展示 20
七、总结和展望 22
八、致谢 23
参考文献 24
引言
苏州的经济发展越来越好，许多的 *51今日免费论文网|www.51jrft.com +Q: *351916072* 
毕业生选择留在苏州工作，苏州人口众多。许多一线城市房屋租赁的各项数据都位居全国榜首，二手房的购买与租赁市场逐渐扩大。并且随着互联网的不断发展、成熟与进步，越来越多的年轻人已经不局限于网上娱乐。网上看房、网上买房已经成为当今互联网的新形势。
但互联网是一把“双刃剑”，二手房交易从线下到线上的改变，必然会带来各种弊端。例如各个品牌的二手房中介让人不知如何选择，其次是网络诈骗手段层出不穷。对于第一次步入社会的大学生来说，初次了解二手房信息更是摸不着头脑，不知从何下手。
目前，人们对二手房信息的真实性很难甄别，导致极其容易上当受骗。所以，本课题将依靠大数据技术，收集二手房的信息，分析出有价值的结果供人参考。本课题使用大数据爬取、预处理与分析信息，设计与开发苏州二手房数据分析可视化系统。通过大数据的方式将二手房的分析结果展示在平台上的优势在于相对于传统的线下收集房源信息的方式，本系统可以在短时间内获取大量的数据信息，体现数据的可靠性的同时，处理信息更加快速与便捷，可以节约大量的人力物力。本系统旨在让人们对二手房信息的真实度有更加明确的辨识，为年轻人繁忙的工作之余节省时间。
（一）背景意义
现如今各式各样的二手房网站让人眼花缭乱，人们对信息的获取不够清晰直观，网络诈骗层出不穷。开发一款二手房的可视化分析系统具有较大价值。本课题将通过大数据爬取、清洗与分析信息，最后通过可视化图表的形式将数据展现在网页上。让人们对二手房信息有更直观、更立体的了解，为人们提供更明确的选择，避免因经验不足导致上当受骗。
（二）研究内容
本文使用Python的Parsel库获取二手房网站数据，采用Python的Pandas库进行数据清洗和分析，采用Echarts图表完成数据可视化。数据采集部分包括：结构分析、数据获取、数据存储；数据清洗部分包括：去空处理、拆分处理、字段替换、类型转换、数据保存、循环处理；数据分析部分包括：频数统计、均值计算、散点图数据处理；可视化部分包括：网页结构搭建、可视化图表制作。具体如图11所示。
图11 主要研究内容
关键技术介绍
本文涉及数据采集、清洗、分析、可视化等大数据的技术，采用Python的Requests、Parsel和Pandas库，Echarts图表技术。下面进行详细介绍。
（一）Requests
Requests模块是Python中原生的基于网络请求的模块，其主要作用是用来模拟浏览器发起请求。功能强大，用法简洁高效。在爬虫领域中占据着举足轻重的地位。Requests是用Python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库。Requests是Python语言的第三方的库，专门用于发送HTTP请求。包括页面抓取、页面解析、数据存储、动态内容抓取、反爬手段的破解以及相关工具的应用。
（二）Parsel
Parsel是一个Python的第三方库。由Scrapy团队开发，是将Scrapy中的Parsel独立抽取出来的，可以轻松解析html，xml内容，获取需要的数据。并支持使用Xpath和CSS选择器对内容进行提取和修改，同时还融合了正则表达式的提取功能。parsel灵活且强大，同时也是python最流行的爬虫框架Scrapy的底层支持。相比于BeautifulSoup和Xpath，Parsel的效率更高，使用更简单。Parsel的css选择器包括：标签选择器、class选择器、id选择器、属性提取器、属性选择器、混合选择器。
（三）Pandas
Pandas 是 Python 的核心数据分析支持库，提供了快速、灵活、明确的数据结构，旨在简单、直观地处理关系型、标记型数据。Pandas是基于NumPy的一个开源Python库，它被广泛用于快速分析数据，以及数据清洗和准备等工作。Pandas能很好地处理来自各种不同来源的数据，比如Excel表格、CSV文件、SQL数据库，甚至还能处理存储在网页上的数据。pandas除了可以处理数字数据，还可以处理字符串数据，最常用的数据类型是一维和二维，一维数据类型：Series，二维: DataFrame。

原文链接：http://www.jxszl.com/jsj/wlw/607575.html