基本环境配置
1、requests,用于模拟http/https请求
安装: pip install requests
2、beautifulsoup4,用于解析网页,得出我们想要的内容。
安装: pip install beautifulsoup4
3、xlwt,将爬到的结果以Excel的形式保存到本地
安装: pip install xlwt
api: xlwt api
打开网页
首先打开boss直聘官网,选择一个地点,然后输入关键字,点击搜索,这里以深圳、python为例。
观察地址栏URL,可以发现有四个参数,分别是query,city,industry和position,query和city很明显是我输入的python和选择的地点深圳;而industry和position也就是公司行业和职位类型,这里没有选择这两项。
分析网页
F12打开开发者工具
每一条职位信息都在一个<li>标签中,<li>标签下的<div class=“job-primary”>就是我们要找的内容。
代码
获取城市编码
url中的city=101280600,显示的是深圳,说明城市名有一个对应的编号,F12 点击Network选中XHR,有一个city.json
完整代码
Copyright © 2008-2022 秒下下载站
m.down10s.com .All Rights Reserved