最近我川又搞事情了
然后info又炸了，，，
據說最開始是這樣的：
然后是這樣的：
然后一發不可收拾了，校園各處不約而同響起了摔杯的聲音，微信微博朋友圈qq空間，特么也全是玻璃碎片?。。?！
摔碎一個玻璃杯炸出我川多少優秀段子手！
據說后面還引來了武大、浙大等校觀光團。
如此空前盛況怎能錯過,寶寶決定搞點事情。
怎么可能又摔杯！！
（話說我的杯子是塑料的好吧，還PET呢）
不胡扯了，上Info爬取玻璃杯事件100條熱門神評論，嗯先立個flag。
</br>
一、過程
搜了一下網頁版的scuinfo
首先初步觀察分析
點擊一看也是瀑布流，需要下拉刷新。
再看一下源碼，一下就懵了，什么關鍵數據也沒有呀，用pycharm獲取一樣?？梢钥闯霾捎玫膉avascript和jquery，有點難辦了。
最先想到是用selenium定位然后截屏什么的，結果連續報錯：無法定位到元素。
都快洗洗睡了，最后想到之前在知乎上有人用的抓包，回去翻了相關帖子，峰回路轉。
這里感謝這個教程。
</br>
打開開發者工具，切換至network抓包。
原來所有信息都在這個包里面了！??！
找到所有id構造URL，requests獲取即可。
下拉找到原帖id=131599
接著就是獲取最新帖子id。
特么我在這又兜圈了！因為帖子是隨時更新的，想著可以一試selenium模擬瀏覽器。結果又定位失敗，搞了好久決定先擱置。
</br>
先去獲取和處理數據
仔細觀察數據，發現string格式的，里面是一個dict，dict里面data又是一個dict。
“如何將string格式轉變為dict”
百度搜到一靠譜答案。測試可用。
后面才發現這一堆原來是json格式的（回去翻基礎，難怪如此熟悉），又將eval()換成json.loads()?；A不牢地動山搖啊。。。
提取重要信息，再從comment中提取“玻璃杯事件”評論，決定匹配正則最快。
可“如何在中文中匹配中文關鍵詞”？
之前都是在標簽中提取數據，情況少見真的把我難住了，編碼問題讓人頭痛。
滾去睡覺，第二天查資料，統統的不行啊。
靜下心想了想，pycharm獲取的數據本來就是Unicode格式的，只要源碼先不encode為utf-8，將中文關鍵詞在IDE中轉為Unicode格式，不就可以匹配的上了么？
事實如此！
正則的四個關鍵詞：
“玻璃”、“杯”、“摔”、“觀光”
pattern=re.compile(u'\u73bb\u7483|\u676f|\u6454|\u89c2\u5149',re.S)
items=re.search(pattern,body)
我以為接下來就是美滋滋地等待一堆數據，結果又報錯：
這個list什么鬼?于是回去查看。原來data是空的list，估計是已經刪除的評論，所以為None。再試了下不存在的id,比如id=137945，同樣如此。
改了下代碼，可以運行。
if not isinstance(data, list):
xxx(內容）
else:
print 'None'
</br>
返回獲取最新帖子id
曾經想過最后打出10個或以上的None然后break結束，但發現代碼無法實現，只能手動結束，心想這算什么程序，不行。
很無聊又到info上看帖去了（MDZZ。。。）
后來再打開network發呆了下，想到了。
既然打開一頁可以抓包，那么刷新看新評論肯定也可以呀。
每次刷新頁面便會請求
URL=“http://www.scuinfo.com/api/posts?pageSize=15”，驗證了下15就是一頁總評論數，這么簡單，為什么之前沒想到啊??！
（簡直想表演胸口碎大石）
</br>
篩選熱門100條神回復
先把每一項的發言、點贊、評論保存入一個list中，然后多個list放到一個大的list中（暫且叫container）。
可提取的時候麻煩了，我想按照點贊數排列container中所有的list，怎么辦呀。
試了許久，百度搜索“list集合中如何按照某一個屬性排序”，無果。
心想這是給自己挖了個坑呀，便改用dict。
繞了好久最后終于解決了。
先按照點贊數大小，點贊相同時按照評論數大小。
def getSort(self):
container=self.getDetail()
print u'\n',u'將所有評論按照點贊數大小排序：'
container.sort(key=lambda k:k.get('comment',0))
container.sort(key=lambda k:k.get('like',0),reverse=True)
for index,r in enumerate(container):
print u'\n\n序號：',index+1, u'\n發言：',r['body'],u'\n點贊：' ,r['like'],u'評論',r['comment']
</br>
原本以為到這里就結束了，結果運行過程中又出新bug了
(真懷疑自己是否是招bug體質哎。。。）：
沒見過于是查資料，原來如此，get !
二、結果和代碼
數據是昨天的。
今天又運行了程序，發現已不止1200
下面就是熱門評論了
爬取的數據實在是多，象征性放前20條
想看完整版100條的可以去我微博：
http://weibo.com/u/5690935322?refer_flag=1005055010_&is_all=1
源碼在Github上：
https://github.com/LUCY78765580/Python-web-scraping/blob/master/BoLiBei.py
終于搞定一切，接下來干點什么好？
這一次寫爬蟲，遇到不少問題，總結如下：
1、破解javascript動態網頁（抓包）
2、json格式數據解析（json.loads())
3、在中文中匹配特定中文的正則表達式（先將關鍵詞轉換）
4、多個dict按照某一屬性排序問題
(lambda函數和enumerate迭代器）
5、http連接太多沒有關閉報錯的問題
回去補補基礎。
不過算是學會了抓包，這種東西簡直有如神器。嘿嘿，本篇就是這樣啦~
