今天的想的是加強一下python3爬蟲的技巧，以爬糗事百科的段子作為練習目標，以下是爬蟲經歷。
1.導包
主要導兩類包，一個是網絡請求包urllib，另一個是正則表達式包re
import urllib.request,urllib.error
import re
2.構建url
我要爬的是糗事百科的24小時里的段子，它的網址是
于是我的url構成如下，pageNum表示頁數
url='http://www.qiushibaike.com/hot/page/' + str(pageNum)
3.增加報頭，偽裝瀏覽器
如果不加報頭直接抓取源代碼似乎會報錯，所以我偽裝了一下，打開chrome進入糗事百科，再右鍵打開檢查->network->request headers，
把User-Agent復制了
user_agent='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36'
Headers={'User-Agent':user_agent}
請求報頭
4.構建正則表達式
這是核心的地方，我一開始寫的時候每一個標簽都去匹配，然后正則表達式寫得很長很長，最后還不知哪里錯了打印不出結果，后來請教了別人寫正則表達式的方法，發現只需要匹配核心的標簽即可，其他無關的標簽一律用.*?匹配。
先看看我要抓取的內容吧
一條糗事百科的段子
像上圖這樣就是一條段子，由于圖片不可能顯示，所以即使是有圖片的段子我也只顯示文字，那么我要匹配的內容有：用戶的名字，段子的內容，“好笑”前面的數字，“好笑”這兩個字，“評論”前面的數字，“評論”這兩個字
那么我就要在源代碼中找到這些內容，通過查看源代碼發現，一個段子的代碼是下面這種格式
<div class="article block untagged mb15" id='qiushi_tag_117121225'>
<div class="author clearfix">
<a href="/users/30591370/" target="_blank" rel="nofollow">
</a>
<a href="/users/30591370/" target="_blank" title="逆風的單車">
<h2>逆風的單車</h2>
</a>
</div>
<div class="content">
小時候喜歡摸堂弟頭，喊他小不點，如今當兵回來的他，喜歡摸著我的頭，喊我“老 部（不）長”，還特么時不時的摔我一跤！！！
</div>
<div class="stats">
<span class="stats-vote"><i class="number">3760</i> 好笑</span>
<span class="stats-comments">
<span class="dash"> · </span>
<a href="/article/117121225" data-share="/article/117121225" id="c-117121225" class="qiushi_comments" target="_blank">
<i class="number">32</i> 評論
</a>
</span>
</div>
我們要的東西的位置一目了然，首先是用戶的名字：
<h2>逆風的單車</h2>
然后是段子的內容：
<div class="content">
小時候喜歡摸堂弟頭，喊他小不點，如今當兵回來的他，喜歡摸著我的頭，喊我“老 部（不）長”，還特么時不時的摔我一跤！！！
</div>
接著是“好笑”
<span class="stats-vote"><i class="number">3760</i> 好笑</span>
最后是評論
<a href="/article/117121225" data-share="/article/117121225" id="c-117121225" class="qiushi_comments" target="_blank">
<i class="number">32</i> 評論</a>
所以我們可以寫出正則表達式
pattern=re.compile('<h2>(.*?)</h2>.*?<div class="content">(.*?)</div>.*?<i class="number">(.*?)</i> (.*?)</span>.*?<i class="number">(.*?)</i>(.*?)</a>',re.S)
注：因為是順序匹配，所以“好笑”和評論只需要用<i class="number">匹配就好，其他雜七雜八的東西一律用.*?代替
5.寫出請求
剩下的就是使用urllib來抓取源代碼匹配后輸出了
try:
request=urllib.request.Request(url,headers=Headers)
response=urllib.request.urlopen(request).read().decode('utf-8')
items=re.findall(pattern,response)# for item in items:
print(item[0],item[1],item[2],item[3],item[4],item[5])
except urllib.error.URLError as e:
if hasattr(e,'code'):
print(e.code)
if hasattr(e,'reason'):
print(e.reason)
完整的代碼是
import urllib.request,urllib.error
import re
pageNum=1
url='http://www.qiushibaike.com/hot/page/' + str(pageNum)
user_agent='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36' Headers={'User-Agent':user_agent}
pattern=re.compile('<h2>(.*?)</h2>.*?<div class="content">(.*?)</div>.*?<i class="number">(.*?)</i> (.*?)</span>.*?<i class="number">(.*?)</i>(.*?)</a>',re.S)
try:
request=urllib.request.Request(url,headers=Headers)
response=urllib.request.urlopen(request).read().decode('utf-8')
items=re.findall(pattern,response)
for item in items:
print(item[0],item[1],item[2],item[3],item[4],item[5])
except urllib.error.URLError as e:
if hasattr(e,'code'):
print(e.code)
if hasattr(e,'reason'):
print(e.reason)
這樣就能抓到啦。
