前言
請先閱讀“中國年輕人正帶領國家走向危機”，這鍋背是不背？ 一文，以對“手把手教你完成一個數據科學小項目”系列有個全局性的了解。
本系列將全面涉及本項目從爬蟲、數據提取與準備、數據異常發現與清洗、分析與可視化等細節，并將代碼統一開源在GitHub：DesertsX/gulius-projects ，感興趣的朋友可以先行 star 哈。
爬蟲
抓包一下，你就知道
本次要爬取的是新浪財經《中國年輕人正帶領國家走向危機？》評論區的全部評論，那么首先點開文章，拉到評論區，點擊“查看全部XXXX條評論”：
在新的頁面處，點擊“點擊加載更多”就可以一直加載出評論數據：
接著在頁面處鼠標右鍵后選“審查元素”，按照下圖（一般新窗口出現在下方，這里為了擋后面的廣告，移到了右邊）的順序，點擊 "network" >> 點"All" >> 多次點擊加載評論>>觀察4中重復加載的內容，并結合5中“previw”，確定下前者就是爬蟲入口的 url，后者就是加載出的評論數據：
以上是網頁端抓包的一般流程，接下來看看5邊上“headers”里的Request URL:http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page=2&page_size=20&jsvar=loader_1534257224948_43840486
對比下多次加載評論后其他的 Request URL，可以看出變化的參數僅為page=2和jsvar=loader_1534257224948_43840486。
前者 page 就是加載的頁數，用總評論數除以每次加載的20條，算下即可。后者 jsvar 初看起來像是隨機數，但有些經驗的應該能猜到是時間戳，結合參數里的 loader 猜想是評論開始加載的13位時間戳與結束時間戳的后8位：
其實前一個項目當你點開這首《八月》的歌：9400余條評論的分析與挖掘 里就遇到了13位時間戳的問題，因為以前碰到的都是10位的，所以也注意了下。
import time
commentTime = 1534257224948 # 13 位，一般是 10 位
print(commentTime)
print(int(time.time()))
print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(commentTime/1000)))
將參數里的數字轉換成正常的時間格式后，能看到與當下加載評論的時刻相近，就可以確認上述判斷無誤；而后面8位的時間戳采用隨機構造即可。
接下來，開始爬取所有評論前，測試下爬蟲能否正常獲取數據，打印一兩頁看看：
import requests
import time
# jsvar=loader_1533711754393_51961031
for page in range(0,150):
start = int(time.time()*1000)
end_stamp = start + random.randint(100,1000) # 隨機構造時間間隔，并加到起始時間戳上
end = str(end_stamp)[-8:]
url = 'http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page={}&page_size=20&jsvar=loader_{}_51961031'.format(page, start, end)
r = requests.get(url).text
print(r)
break
構造 url，并用 requests 庫發送 get 請求，發現不用帶其它參數，就能拿到數據，異常輕松。注意：這里的數據也就是上文標記為5的“previews”里的內容。
這里截取掉前34個字符，拿到干凈的字典樣格式的字符串，方便后續操作和提取數據：
var loader_1533713810791_51961031='{ "result":{status: {msg: "", code: 0}, count: {qreply: 8948, total: 17341, show: 2902}, replydict: {,…},…}'
然后重新發送請求，提取并打印部分評論數據：
import time
import requests
import json
for page in range(0,150):
start = int(time.time()*1000)
end_stamp = start + random.randint(100,1000)
end = str(end_stamp)[-8:]
url = 'http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page={}&page_size=20&jsvar=loader_{}_51961031'.format(page, start, end)
r = requests.get(url).text
json_dict = json.loads(r[34:])
cmntlist = json_dict['result']["cmntlist"]
for num,cmnt in enumerate(cmntlist):
print(num, cmnt['nick'],cmnt['area'], cmnt['time'], cmnt['content'])
break
羅列下前3條的輸出：
0 用戶957zwswd 2018-08-08 14:21:26 這是什么沙雕 浙江嘉興
1 尾尾 2018-08-08 14:21:25 有啊，稅制改革了，有學生、老人的家庭有稅收優惠，也就意味著，單身要交更多的稅了。 寧夏銀川
2 可樂味的我想和你天下第一好 2018-08-08 14:21:24 那叫探索，叫探索時的必經之路[作揖] 河南洛陽
爬蟲走你~
經過上述探索，確認能獲取到數據后，就可以開爬了，代碼不難，新手朋友可以試著自己完成：
%% time # 計算耗時
import requests
import time
import random
import json
import pandas as pd
comments = pd.DataFrame(columns = ['page','jsons','cmntlist','replydict'])
start_page = 0 # 修改起始頁數（初始值為 0）和 csv 文件名，方便爬蟲中斷后，繼續爬取，之后再將幾個 csv 數據整合到一起即可 # 斷點續爬
# http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page=3&page_size=20&jsvar=loader_1533711754393_51961031
# jsvar=loader_1533711754393_51961031
try:
# 手動設置需要爬取的總頁數，評論數若有3000條，那每頁20條，就設為150，當然一般在爬取時也可能有新增的評論，所以設大些更好。
for page in range(start_page,200): # 截止20180808 16點 # 3,037條評論|18,714人參與 # 截止20180810 8點 # 3,723條評論|30,235人參與
start = int(time.time()*1000)
end_stamp = start + random.randint(100,1000)
end = str(end_stamp)[-8:] # # jsvar=loader_1533711754393_51961031
url = 'http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page={}&page_size=20&jsvar=loader_{}_51961031'.format(page, start, end)
content = requests.get(url).text
jsons = json.loads(content[34:]) # var loader_1533713810791_51961031= { "result":{status: {msg: "", code: 0}, count: {qreply: 8948, total: 17341, show: 2902}, replydict: {,…},…}
cmntlist = jsons['result']["cmntlist"]
replydict = jsons['result']["replydict"]
# jsons 里有幾乎所有數據，方便后續爬蟲結束也能本地進行提取 # 不過本次主要對 jsons 里的 cmntlist 和 replydict 感興趣，所以也先提取了
comments = comments.append({'page':page+1,'jsons':jsons,'cmntlist':cmntlist,'replydict':replydict},ignore_index=True)
for num,cmnt in enumerate(cmntlist):
print(page*20+num+1, page+1, cmnt['nick'], cmnt['time'], cmnt['content'], cmnt['area'])
if page%5==0:
time.sleep(random.randint(0,2)) # 每5頁隨機停0-2秒，作為簡單的防反爬的一步
except:
print("Error")
comments.to_csv('Sina_Finance_Comments_1_20180810.csv',index=False,encoding='utf-8')
小結
爬取到數據后，就可以“為所欲為”的進行花式分析了（好吧，其實還需要進一步處理下）。大家可以讀取數據，看看每行每列的格式是什么樣的。
df = pd.read_csv('Sina_Finance_Comments_1_20180810.csv',encoding='utf-8')
df.head()
這里說明下，爬蟲里是先按照每頁20條評論的字典或列表的格式整體存儲的，那么隨之而來的問題就是，如何根據這些列來提取出每一條評論的數據，并存儲到新的csv里呢？
可自行嘗試下如何用 pandas 實現哈。更多內容將在本系列后續文章中逐步展開。本系列涉及的從爬蟲、數據提取與準備、數據異常發現與清洗、分析與可視化等的代碼，統一開源在GitHub：DesertsX/gulius-projects ，感興趣的朋友可以先行 star 哈。
