概述
近來花了一些時間簡單學習了一下python，簡而言之：拋棄運行效率因素不說，從編碼的角度，其優雅、簡潔的語法結構還是值得肯定的。但缺點也很明顯，過分簡潔的語法結構也使得代碼結構出錯的可能性相應的增加，相應地也會造成IDE提示以及自動完成功能的削弱。這兒打算寫一個簡單而有一定實用價值的一個爬蟲程序來對近來的學習做一個小小的鞏固。
功能分析
功能龐大而簡單：下載指定一個百度貼吧的所有圖片到本地，并以單個帖子為目錄進行分類保存。至于下載哪個貼吧的圖片，我覺得你已經開始浮想聯翩了。言歸正傳，接下來我將對實現步驟作詳細的分析。這里作個說明，工程基于python3.5版本，什么？你會python2.X？那我們討論的可能不是一個語言（開個玩笑），至于開發工具，個人覺得PyCharm比較好用，jetbrains的產品系列懂的人自然懂。
實現步驟
思路其實還是很簡單明了的：1、獲取某個貼吧的所有帖子。2、獲取其中一個帖子的所有頁內容。3，在帖子內容中找到所有圖片。4，下載這些圖片到本地相應目錄。OK，明確了思路，接下來將以上文字翻譯成代碼就行了，ps，這里需要一些簡單的html與http協議的基本知識。
1、獲取某個貼吧的所有帖子
這里我們以NBA吧為例，其首頁網址為：
https://tieba.baidu.com/f?kw=NBA&ie=utf-8&pn=0
我們觀察一下鏈接，有兩個我們關心的點：kw=NBA、pn=0，這里的kw的值顯然是貼吧名稱，替換成我們想要的就行了。至于pn的值表示當前頁第一條帖子的序號數，第一頁的第一條帖子為0，如果每頁顯示20條帖子，那第二頁pn=20，第三頁pn=40，依此類推，至于每頁顯示多少條帖子，我們可以動態獲取。
1)獲取最終的貼吧地址
#防止出現中文名字貼吧，將NBA修改為指定的貼吧名稱
name = urllib.request.quote('NBA')
url = 'https://tieba.baidu.com/f?kw=%s&ie=utf-8&pn=%d'
page_index = 1
finall_url = url % (name, page_index)
然后我們根據根據獲得的地址得到網頁數據
url_open = my_url_opener().open(finall_url)
data = url_open.read().decode('utf-8')
這里的my_url_opener()是自定義的獲取urlopen方法，作用是給http請求頭添加一些信息，把我們的爬蟲偽裝成瀏覽器請求，防止被百度KO，具體實現可以查看一下源碼。通過以上方法，我們得到了data數據，data是包含大量html、css、js的字符數據，如何得到我們想要的帖子超鏈接地址呢，通過瀏覽器查看源代碼，可以發現其超鏈接規律如下：
<a href="/p/5144403745" ...
那么這個帖子的地址就為
https://tieba.baidu.com/p/5144403745
如此，我們用正則表達式匹配一下，就可以瞬間得到所有的帖子鏈接了（這里我們只要超鏈接的內容，所以用懶惰匹配）
linkre = re.compile('href=\"(/p/.+?)\"')
all_linkers = linkre.findall(data)
2)獲得所有的帖子地址
all_linkers的長度也是一頁中帖子的數量，接下來我們就可以獲得所有頁面所有帖子的鏈接了，同時用deque()隊列容器存放所有鏈接：
link_queue = deque()
total_page = 16
page_size = 0
for i in range(total_page):
finall_url = url % (name, i * page_size)
print('finall_url--->' + finall_url)
url_open = my_url_opener().open(finall_url)
data = url_open.read().decode('utf-8')
linkre = re.compile('href=\"(/p/.+?)\"')
all_linkers = linkre.findall(data)
for link in all_linkers:
detail_link = 'https://tieba.baidu.com' + link
link_queue.append(detail_link)
print('detail_link:' + detail_link)
page_size = len(all_linkers)
OK，我們來打印一下看看得到的地址：
嗯，好像還不錯的樣子...
2、獲取其中一個帖子的所有頁內容
到了這里，離成功又近了一步，但當我們查看具體的帖子時發現帖子又可能是不止一頁的，好吧，以上類似工作又要做重新做一遍了，這里我們再看一下帖子地址規律：
首頁 https://tieba.baidu.com/p/5144403745
或者 https://tieba.baidu.com/p/5144403745?pn=1
非首頁 https://tieba.baidu.com/p/5144403745?pn=2
這里的pn表示頁數了，前面貼吧的總頁數是可以通過到貼吧查看得到的，這并不會耗費很多時間，但每個帖子有多少頁顯然不能通過查看來實現了，況且每個帖子頁數也各不相同，顯然只能通過代碼動態獲取了。那么如何獲取每個帖子的頁數呢？通過觀察頁面發現如果該頁面存在下一頁的按鈕，則本頁不是位于尾頁，否則是位于尾頁，基于這個特點，我們可以讓頁數循環遞增，當發現位于尾頁時跳出循環。
#判斷該頁是否存在下一頁
def has_next_page(data):
reg = 'pn=(.*)?">下一頁'
reg_comp = re.compile(reg)
return not len(reg_comp.findall(web)) == 0
pn = 1
while True:
if '?' in detail_link:
#地址中已經有了參數
full_detail_link = detail_link + '&pn=%d' % pn
else:
#地址中尚未有參數
full_detail_link = detail_link + '?pn=%d' % pn
print('full_detail_link:' + full_detail_link)
detail_data = my_url_opener().open(full_detail_link).read().decode('utf-8')
if not has_next_page(detail_data):
break
pn += 1
我們觀察一下輸出情況，
確實已經得到了帖子每一頁的鏈接了，繼續...
3，在帖子內容中找到所有圖片。
這一步比較容易，觀察一下圖片的鏈接，寫出恰當的正則表達式就行了，這里直接給出代碼
image_re = re.compile('src=\"(.*?//img.*?/sign=.*?.\\w{3})\"')
all_image_links = image_re.findall(detail_data)
得到圖片地址，接下來保存到本地就行啦
4，下載這些圖片到本地相應目錄
我們想把圖片按照帖子為單位，分別存放到對應的文件夾中，這里我們以帖子的地址中的路徑編號來存放，來看一下我們之前得到的地址：
https://tieba.baidu.com/p/5144403745
截取后面的一串數字作為文件路徑就ok了，
def get_dir(url):
dir_reg = '/(\\d+)'
reg_comp = re.compile(dir_reg)
dirs = reg_comp.findall(url)
#匹配失敗返回一個隨機數
if len(dirs) == 0:
return 'G:/tiebapic/' + random.randint()
return 'G:/tiebapic/' + dirs[0]
最后保存到對應路徑,文件名為數字遞增：
pic_total = 0
for image_link in all_image_links:
with open(dir + '/%d.jpg' % pic_total, 'wb') as f:
f.write(urllib.request.urlopen(image_link).read())
print('%d.jpg 保存成功' % pic_total)
pic_total += 1
大功告成，看一下輸出日志情況：
那么結果如何呢，我們到保存的目錄下查看：
哎呦不錯。
總結
關于本文：1、下載圖片部分：最好用子線程下載，本文為了更好地觀察帖子地址與圖片的同步關系，沒有做相應的多線程處理。2、本文為學習筆記，代碼很隨意，不具備嚴謹性。3、文中貼出的代碼為了更簡潔，省略了處理異常的部分。4、，歡迎一起探討，代碼存放地址：http://121.40.167.237:8080/file/simple_crawl.py
好了，爬哪個貼吧？It's happy time ...
