這周老師布置的作業爬取拉勾網上，關于“python工程師”，”數據分析師“的崗位。地點我選的是上海。
Paste_Image.png
Paste_Image.png
其實只有450個，但是它瞎扯有500+
在觀察之后依然還是異步加載的問題，找出真實的網址是啥，然后來解析就好。
Paste_Image.png
同時還要注意的是，這個json文件是post方式，所以就要找出post的內容
Paste_Image.png
可以看出，post的內容主要有三項：第一項不知道是什么意思，pn代表的是pagenumber，kd代表的是keyword。理解了這些就好辦了，程老哥說讓我先寫單頁的，寫熟悉框架之后再寫scrapy，所以還是先單頁的寫吧。開整！！
import json
import requests
url= 'https://www.lagou.com/jobs/positionAjax.json?px=default&city=%E4%B8%8A%E6%B5%B7&needAddtionalResult=false'
header={
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Language':'zh-CN,zh;q=0.8',
'Cache-Control':'max-age=0',
'Connection':'keep-alive',
'Host':'www.lagou.com',
'Cookie':'JSESSIONID=19A6D78EB668D7BFDD79D4D9DD31CD03; _gat=1; user_trace_token=20170424161622-a7aaefffc7cc431c948e52e6f4580fb1; PRE_UTM=; PRE_HOST=www.baidu.com; PRE_SITE=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3Dmnw7nxYUT1PnGLrygqOgVk7kPCQ6dpbGIaM9rWIINti%26wd%3D%26eqid%3Dbdf78d9a000052e00000000358fdb44d; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2F; LGUID=20170424161622-4d9964b1-28c6-11e7-b26b-5254005c3644; index_location_city=%E4%B8%8A%E6%B5%B7; TG-TRACK-CODE=index_search; SEARCH_ID=f60cf9cc99c74ea8a9a28f1f65e5fa0d; _ga=GA1.2.1813583834.1493021772; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1493021779; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1493021788; LGSID=20170424161622-4d99621e-28c6-11e7-b26b-5254005c3644; LGRID=20170424161639-575e5e25-28c6-11e7-b26b-5254005c3644',
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0',
}
for i in range(1,15):
data1={'first':'false','pn':'%s'%i,'kd':'Python工程師'}
html = requests.post(url,data=data1,headers=header).text
a = json.loads(html)
results=a['content']['positionResult']['result']
for poisition in results:
name=poisition['positionName']
work_year = poisition['workYear']
money = poisition['salary']
palace = poisition['district']
with open('d:\\Python工程師.csv','a+') as f:
f.write('{},{},{},{},{}'.format(name,work_year,money,palace,'\n'))
for i in range(1,31):
data1={'first':'false','pn':'%s'%i,'kd':'數據分析師'}
html = requests.post(url,data=data1,headers=header).text
a = json.loads(html)
results=a['content']['positionResult']['result']
for poisition in results:
name=poisition['positionName']
work_year = poisition['workYear']
money = poisition['salary']
palace = poisition['district']
with open('d:\\數據分析師.csv','a+') as f:
f.write('{},{},{},{},{}'.format(name,work_year,money,palace,'\n'))
主要爬了以下幾個字段：
崗位名城
要求的工作經驗
薪資
工作地點。
用pandas將存儲下來的表進行一些簡單的分析。
（1）工資：
Paste_Image.png
Paste_Image.png
結合來看，工資平均在12000-21000之間。
（2）區位：
Paste_Image.png
浦東作為上海科技創新中心核心區，科技的需求也是最多的。最弱的是寶山區，只有一個崗位需求。
總結：
Paste_Image.png
city后面的是我選擇的上海的16進制表達方式。同時要注意post的模式，是要提交參數的。
（2）在循環爬取的時候，在json文件里找不到最大頁數，不知道是我沒找到，還是只能是返回網頁去看。
（3） 在用pandas讀取從存儲下來的csv文件時，要注意改一下編碼模式，pandas默認是utf-8，但是這里保存下來的是gbk。
Paste_Image.png
