這是Python爬蟲系列的第一篇文章。之前學(xué)了一段時(shí)間的Python，在網(wǎng)上搜到爬蟲系列的教程，但是由于網(wǎng)站更新可能會(huì)導(dǎo)致代碼改變，使得以前的正則表達(dá)式無法使用，因此對(duì)原教程中的代碼進(jìn)行了一些修改，將自己的理解寫在這里，方便理解。
本文參考教程 Python爬蟲實(shí)戰(zhàn)一之爬取糗事百科段子。作者崔慶才寫了很多關(guān)于Python爬蟲的文章，大家有興趣的話可以去他的個(gè)人博客靜覓學(xué)習(xí)。
爬蟲介紹
維基百科中對(duì)網(wǎng)絡(luò)爬蟲的解釋是
網(wǎng)絡(luò)爬蟲（英語(yǔ)：web crawler），也叫網(wǎng)絡(luò)蜘蛛（spider），是一種用來自動(dòng)瀏覽萬(wàn)維網(wǎng)的網(wǎng)絡(luò)機(jī)器人。其目的一般為編纂網(wǎng)絡(luò)索引。
如果覺得以上定義難理解，還有百度百科中的解釋
網(wǎng)絡(luò)爬蟲，是一種按照一定的規(guī)則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本。
在Chrome或者M(jìn)ozilla瀏覽器中，按f12可以進(jìn)入開發(fā)者模式查看網(wǎng)頁(yè)源代碼，以 糗事百科 為例
點(diǎn)開源代碼中的不同標(biāo)簽，發(fā)現(xiàn)其實(shí)網(wǎng)頁(yè)中顯示的各種段子其實(shí)都在以下的幾行代碼之間
<div class="content">
<span>
</span>
所以，當(dāng)我們知道了自己想要的信息保存在哪個(gè)部分之后，我們就可以通過正則表達(dá)式（稍后會(huì)介紹）將這一部分信息提取出來，比如很多人爬的豆瓣電影，可以將Top250或者自己感興趣的影片信息批量導(dǎo)出，或者把一些網(wǎng)站中的圖片批量下載下來。
其實(shí)，像谷歌、百度這些搜索引擎也可以看成是網(wǎng)絡(luò)爬蟲，但是它們爬的是整個(gè)互聯(lián)網(wǎng)上的信息，并且要在很短的時(shí)間內(nèi)將結(jié)果顯示出來，這就涉及到算法和優(yōu)化的問題，而今天爬取糗事百科段子的程序只是一個(gè)很簡(jiǎn)單的爬蟲，算是入門。
源代碼放在我的GitHub主頁(yè)上，下面主要是對(duì)具體代碼的理解和分析。
注意：使用Python2.7版本
代碼中用到了urllib2和re兩個(gè)庫(kù)，前一個(gè)用來獲取網(wǎng)頁(yè)的源代碼，后一個(gè)使用正則表達(dá)式提取我們想要的信息，這也是我們的代碼主要做的兩件事情。
獲取網(wǎng)頁(yè)源代碼
url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)
request = urllib2.Request(url, headers={'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'})
response = urllib2.urlopen(request)
pageCode = response.read().decode('utf-8')
url是我們想要爬的網(wǎng)頁(yè)地址，request是請(qǐng)求網(wǎng)頁(yè)，urllib2.Request(url, headers)中的第一個(gè)參數(shù)url即為網(wǎng)頁(yè)地址，第二個(gè)參數(shù)headers是身份，有的網(wǎng)站服務(wù)器會(huì)靠這個(gè)參數(shù)識(shí)別是否是瀏覽器發(fā)出的請(qǐng)求，如果不是則不響應(yīng)，urllib2默認(rèn)的身份是“Python-urllib/2.7”，所以最好將身份改為瀏覽器，可以在瀏覽器開發(fā)者工具的網(wǎng)絡(luò)模塊中查看瀏覽器的類型。response.read().decode('utf-8')中，response對(duì)象有一個(gè)read方法，可以讀取網(wǎng)頁(yè)的內(nèi)容，由于網(wǎng)頁(yè)是中文，利用decode('utf-8')將字符串變?yōu)?utf-8'編碼格式，防止亂碼。
正則表達(dá)式
首先上圖
正則表達(dá)式有很多語(yǔ)法，最好在實(shí)際使用中邊用邊學(xué)。我們的代碼中提取內(nèi)容的部分為
pattern = re.compile('h2>(.*?)</h2.*?content">.*?<span>(.*?)</.*?number">(.*?)</.*?number">(.*?)</',re.S)
items = re.findall(pattern,pageCode)
pageStories = []
for item in items:
pageStories.append([item[0].strip(),item[1].strip(),item[2].strip(),item[3].strip()])
先看網(wǎng)頁(yè)與源代碼對(duì)應(yīng)的部分
從
<h2>一直到最后的</a>，這其中包括了發(fā)布人、內(nèi)容、好笑數(shù)和評(píng)論數(shù)，我們可以將這四部分提取出來。pattern = re.compile('h2>(.*?)</h2.*?content">.*?<span>(.*?)</.*?number">(.*?)</.*?number">(.*?)</',re.S)是匹配模式，.匹配除換行符‘\n’之外的字符，re.S代表(dot matchs all)，.也匹配換行符，.*和.*?的區(qū)別是前者是貪婪匹配，后者是非貪婪匹配。
比如說匹配輸入串A: 101000000000100
使用 1.*1 將會(huì)匹配到1010000000001, 匹配方法: 先匹配至輸入串A的最后, 然后向前匹配, 直到可以匹配到1, 稱之為貪婪匹配。
使用 1.*?1 將會(huì)匹配到101, 匹配方法: *匹配下一個(gè)1之前的所有字符, 稱之為非貪婪匹配。
注: 翻譯自StackOverflow回答
(.*?)代表一個(gè)分組，是我們想要提取出的信息，re.findall(pattern,pageCode)表示以pattern尋找pageCode中能匹配的所有子串，并以列表形式返回子串。item[0]、item[1]、item[2]、item[3]分別代表發(fā)布人、內(nèi)容、好笑數(shù)和評(píng)論數(shù)，.strip()表示刪除字符串開頭和末尾的所有空白符（包括'\n'、'\t'、'\r'、' '）。'\n'換行，表示光標(biāo)移到下一行，'\t'水平制表位，相當(dāng)于按了鍵盤上的TAB鍵，'\r'回車，相當(dāng)于光標(biāo)回到該行首的位置。
getPage函數(shù)得到頁(yè)面的代碼，getPageItem獲得頁(yè)面中我們想要的內(nèi)容，儲(chǔ)存在列表中，loadPage函數(shù)在內(nèi)容不夠時(shí)加載新頁(yè)面，并添加到self.stories變量中，getOneStory函數(shù)輸入‘Q’退出程序，按回車顯示一條內(nèi)容，其中self.enable變量用來判斷程序是否結(jié)束。
