基于python招聘网站监测系统设计与实现【字数：4756】
目录
目录 5
一、 引言 6
二、 需求分析 6
(一) 用户需求分析 6
(二) 技术介绍 6
1. Python 6
2. 数据处理与分析 6
3. 数据可视化 7
4. JavaWeb 7
(三) 开发环境和技术要求 7
1. 开发环境 7
2. 技术要求 7
三、 系统总体设计 8
(一) 框架设计 8
(二) 数据表设计 8
四、 详细设计和实现 10
(一) 爬取网页信息 10
(二) 分析数据 18
(三) 制作词云 18
(四) 分析城市需求量 20
(五) 分析行业招聘量和需求工作经历 23
(六) 网站详细设计 25
1. 登陆界面 25
2. 用户管理界面 28
3. 显示职位 33
4. 页面显示 37
5. 查找符合的职业 38
五、 总结 42
一、引言
大学生就业一直都是个难题，然而教育事业的始终提高和发展，每一所学校都在不停地扩展教学范围，从而获得更多的生源，因此学生更有可能进入大学，大学生人数的急剧增加，这就导致了大学生就业问题。而且，信息化的发展，找工作投简历现在都可以在网上完成，因此大量的企业招聘信息层出不穷，大量的信息中夹杂着许多虚假消息。学历成了找工作的第一堵墙。如何在这些信息找到对自己有用的就尤为重要
*景先生毕设|www.jxszl.com +Q: ^351916072*
/> 然而在网上抓取到这些信息之后，依旧是多而杂，对于这些信息就需要使用数据分析，虽然网上有一些这种类型的项目，但是规模较小并且没有时效性。对于岗位这种东西来说，你越快，能够获得也就越多。本项目提供以python为基础的岗位信息爬取，加上对爬取的信息进行分析，从而能够直观的获取符合自身需求的岗位信息。
二、需求分析
（一）用户需求分析
对象：就业人群，以毕业大学生为主
操作：1.输入自己的信息
2.选择岗位类型，例如：IT|互联网|通信
3.选择地点
4.获取符合自身和需求的岗位信息
5.登陆页面查看信息
效果：时效性，准确性
（二）技术介绍
1.Python
Python是包含大量库的设计语言。它可以很容易地链接其他模块（特别是C/C++）的其他语言。
2.数据处理与分析
（1）Numpy
1)多维数组对象naarray
2)用于对数组执行数学运算的函数
3)用于将C、C++代码集成到python的工具
（2）pandas
Pandas具有Numpy的计算性能和灵活的数据处理能力。它提供了搜索功能，选取数据的子集等操作。
（3）matplotlib
能够生成各种图形。
（4）Scipy
能够解决标准问题的集合
（5）statsmodels
是最好用的数据爬虫可以与pandas数据交互
（6）scikitlearn
提供了机器学习工具箱，依赖数据爬取库。
3.数据可视化
ECharts，业务级别的数据图表，可以在PC和移动设备上顺利运行。与大多数当前浏览器兼容，使用户能够挖掘和集成数据。
支持各个类型等12种图表，同时提供标题等7个可交互组件，适用于多图表、组件链接和混合演示。用于更加直观的数据显示。
4.JavaWeb
JavaWeb，是使用Java技术，解决相关网页的技术，有很多的服务器端应用程序，如servlet、JSP等。
（三）开发环境和技术要求
1.开发环境
平台：window10
硬件要求： 8g内存
版本：python3.x,jre1.80,tomcatv7.0
代码编辑器：Pycharm,eclipse
2.技术要求
（1）常用库
1）requests 做请求的时候用到，requests.get("url")。
2）selenium
3）lxml
4）beautifulsoup/Scrapy
5）pyquery 网页解析库
6）pymysql 存储库
7）pymongo
8）redis
（2）Urllib：
urllib.request 请求模块，在爬取过程中模拟浏览器
urllib.error 异常处理模块
urllib.parse url解析模块
urllib.robotparser robots.txt 用于解析模块
三、系统总体设计
（一）框架设计
IT招聘岗位智能查询与分析主要包含以下功能（如图311所示）：
爬虫：爬取网页url，字段提取，增量爬取，请求去重
中间件：爬虫防屏蔽，处理网页非200状态，处理爬虫下载异常
数据存储：抓取字段设计，数据存储
网站制作：用户管理，职位管理，搜索
/
图311 系统功能结构图
（二）数据表设计
原文链接：http://www.jxszl.com/jsj/jsjkxyjs/564476.html
最新推荐
