昨天初步接觸了爬蟲(chóng)，實(shí)現(xiàn)了爬取網(wǎng)絡(luò)段子并逐條閱讀等功能，詳見(jiàn)Python爬蟲(chóng)初學(xué)（一）。 今天準(zhǔn)備對(duì)百度貼吧下手了，嘿嘿。依然是跟著這個(gè)博客學(xué)習(xí)的，這次仿照該博主用類(lèi)的方式寫(xiě)。
其實(shí)我從來(lái)不玩貼吧，不過(guò)據(jù)我所知貼吧有一些網(wǎng)友，他們開(kāi)帖子連載原創(chuàng)小說(shuō)；還有些網(wǎng)友提供“福利”，造福廣大網(wǎng)民。嗯，所以今天的目標(biāo)是這樣的：
- 把分散的連載小說(shuō)下載到本地
- 批量下載貼吧圖片
一. 下載小說(shuō)
1. 定義一個(gè)類(lèi)
這次用類(lèi)來(lái)寫(xiě)。實(shí)現(xiàn)這個(gè)也不難，經(jīng)過(guò)昨天的學(xué)習(xí)已經(jīng)有一定經(jīng)驗(yàn)了。導(dǎo)入庫(kù)什么的就不說(shuō)了。先看貼吧的url構(gòu)成，如http://tieba.baidu.com/p/4723863270?see_lz=1&pn=2。其中http://tieba.baidu.com/p/4723863270為該帖的基礎(chǔ)地址，?see_lz=1是只看樓主標(biāo)志位，為1是表示“只看樓主”，pn=2代表當(dāng)前帖子的頁(yè)碼。現(xiàn)在來(lái)定義一個(gè)爬取百度貼吧的SpiderBaidu，初始化，然后定義一個(gè)open_url()來(lái)返回網(wǎng)頁(yè)內(nèi)容。
class SpiderBaidu:
# 初始化帖子原地址，默認(rèn)只看樓主
def __init__(self, url, see_lz_flag=1):
self.url = url
# 可設(shè)置看所有樓
self.see_lz = '?see_lz=' + str(see_lz_flag)
self.res = []
# 打開(kāi)具體網(wǎng)址并返回網(wǎng)頁(yè)內(nèi)容
def open_url(self, num):
# 該帖具體網(wǎng)址，num指定頁(yè)碼
wanted_page = self.url + self.see_lz + '&pn=' + str(num)
req = request.Request(wanted_page)
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 '
'(KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36')
response = request.urlopen(req)
html = response.read().decode('utf-8')
return html
2. 獲取標(biāo)題和總頁(yè)數(shù)
我們想要知道帖子標(biāo)題以及總頁(yè)數(shù)，提取出來(lái)就是了！
可以發(fā)現(xiàn)標(biāo)題被<h1 class="core_title_txt(...)</h1>包含起來(lái)了，這里要注意的是，有些帖子不是<h1>,可能是<h3>或者其他，一會(huì)兒匹配的時(shí)候考慮進(jìn)去。
# 提取標(biāo)題
def get_title(self):
# 第1頁(yè)就包含標(biāo)題，所以num用1即可
html = self.open_url(1)
# 提取標(biāo)題的規(guī)則，<h\d>即無(wú)論h1還是h3都會(huì)匹配成功
title_pattern = re.compile(r'<h\d class="core_title_txt.*?>(.*?)</h\d>')
title = re.findall(title_pattern, html)
# 返回的是列表且只有一個(gè)元素，故用title[0]
return title[0]
接下來(lái)是總頁(yè)數(shù)，仔細(xì)觀察總頁(yè)數(shù)其實(shí)在最上面和最下面都是有一個(gè)的，所以一會(huì)兒匹配后返回的列表會(huì)有兩個(gè)元素，這兩個(gè)元素是一模一樣的！
如上圖，數(shù)字7被
<span class="red">(需要提取的數(shù)字)</span>包含。代碼如下。
# 獲取總頁(yè)數(shù)
def get_page_num(self):
# 第1頁(yè)也有總頁(yè)數(shù)
html = self.open_url(1)
num_pattern = re.compile(r'<span class="red">(\d+)</span>')
page_num = re.findall(num_pattern, html)
# 貼吧的最上和最下面都有總頁(yè)碼，隨便返回一個(gè)即可
return page_num[0]
我們來(lái)看一下提取出來(lái)的標(biāo)題和頁(yè)碼。
3. 獲取正文
正文前面有空格，依然要用\s+匹配。正文被<div id="post_content...class=d_post_content j_d_post_content...空格空格（正文）</div>包含。以下函數(shù)提取出正文。
# 獲取正文
def get_content(self, num):
# 獲取網(wǎng)頁(yè)全部?jī)?nèi)容
html = self.open_url(num)
# 提取每樓發(fā)言
content_pattern = re.compile(r'<div id="post_content.*?class="d_post_content j_d_post_content'
r'.*?>\s+(.*?)</div>')
content = re.findall(content_pattern, html)
return content
即使提取出帖子正文了，也別高興的太早。貼吧發(fā)帖不可能人人都發(fā)的純文本，可以預(yù)想到里面會(huì)有圖片（包含表情），超鏈接，還有設(shè)置的簽名等。這些還沒(méi)有被過(guò)濾掉。（不好意思忘了截圖，反正打印出來(lái)的內(nèi)容會(huì)含有很多又長(zhǎng)又難看的鏈接）
我們?cè)僦贫ㄒ?guī)則過(guò)濾掉。
# 這里參數(shù)con為get_content()函數(shù)返回的包含正文的列表
def get_words_only(self, con):
for i in con:
# 刪除圖片
each = re.sub(r'<img class=".*?>', '', i)
# 刪除簽名
each = re.sub(r'<div class="post_bubble_top".*?>', '', each)
# 換行
each = re.sub(r'<br>', '\n', each)
# 刪除超鏈接
each = re.sub(r'<a href=.*?</a>', '', each)
# 添加到初始化的列表中
self.res.append(each)
return self.res
4. 下載小說(shuō)到本地
默認(rèn)模式為只看樓主，其他人插樓小說(shuō)還咋讀是不。
# 下載到本地
def save_text(self):
# 返回的帖子標(biāo)題作為文件名
file_title = self.get_title()
# 最大頁(yè)碼
page_num = int(self.get_page_num())
with open(file_title + '.txt', 'w', encoding='utf-8') as f:
# 每一頁(yè)內(nèi)容都寫(xiě)入文件
for number in range(1, page_num + 1):
con = self.get_content(number)
# 只留下純文字，過(guò)濾圖片、超鏈接等
result = self.get_words_only(con)
f.writelines(result)
最后創(chuàng)建一個(gè)實(shí)例就好了，試試下載吧。
if __name__ == '__main__':
spider = SpiderBaidu('http://tieba.baidu.com/p/4698209454')
title = spider.get_title()
total_num = spider.get_page_num()
print('{}(共{}頁(yè))'.format(title, total_num))
spider.save_text()
下載下來(lái)后是這個(gè)效果，還行，能讀。
二、 批量下載圖片
剛才有過(guò)濾圖片是不？我們反過(guò)來(lái)利用它，分分鐘就搞定！
提取圖片鏈接即可。它被
<img class="BDE_Image" src="(.*?jpg)"這樣的形式包含。
# 只保存圖片
def save_images(self, folder):
page_num = int(self.get_page_num())
# 文件名序號(hào)
seq = 1
# 創(chuàng)建文件夾
os.mkdir(folder)
# 工程目錄切換到當(dāng)成文件夾
os.chdir(folder)
for number in range(1, page_num + 1):
# 網(wǎng)頁(yè)全部?jī)?nèi)容
html = self.open_url(number)
img_pattern = re.compile(r'<img class="BDE_Image" src="(.*?jpg)"')
images = re.findall(img_pattern, html)
# 每爬一頁(yè)，休息10秒
time.sleep(10)
for each in images:
# 文件名
filename = str(seq) + '.jpg'
# 下載到文件夾
request.urlretrieve(each, filename)
# 數(shù)字遞增方式給文件命名
seq += 1
# 每?jī)擅胂螺d一次
time.sleep(2)
可以適當(dāng)加入
time.sleep(),防止訪問(wèn)頻率過(guò)快導(dǎo)致爬蟲(chóng)封IP。簡(jiǎn)單的可以這么做，當(dāng)然可以用代理，多線程，不過(guò)我還沒(méi)接觸到，以后再深入。
居然幾百?gòu)垼〈筘S收呀，看到圖片自動(dòng)地就被飛速下載到本地了，還用一張張右鍵嗎？No！掛著程序讓它跑，看部電影去吧！
整理一下，全部代碼如下
from urllib import request, parse
import re
import os
import time
class SpiderBaidu:
# 初始化帖子原地址，默認(rèn)只看樓主為否
def __init__(self, url, see_lz_flag=1):
self.url = url
self.see_lz = '?see_lz=' + str(see_lz_flag)
self.res = []
def open_url(self, num):
# 該帖具體網(wǎng)址
wanted_page = self.url + self.see_lz + '&pn=' + str(num)
req = request.Request(wanted_page)
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 '
'(KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36')
response = request.urlopen(req)
html = response.read().decode('utf-8')
return html
# 提取標(biāo)題
def get_title(self):
html = self.open_url(1)
title_pattern = re.compile(r'<h\d class="core_title_txt.*?>(.*?)</h\d>')
title = re.findall(title_pattern, html)
return title[0]
# 獲取總頁(yè)數(shù)
def get_page_num(self):
html = self.open_url(1)
num_pattern = re.compile(r'<span class="red">(\d+)</span>')
page_num = re.findall(num_pattern, html)
# 貼吧的最上和最下面都有總頁(yè)碼，隨便返回一個(gè)即可
return page_num[0]
# 獲取正文
def get_content(self, num):
html = self.open_url(num)
content_pattern = re.compile(r'<div id="post_content.*?class="d_post_content j_d_post_content'
r'.*?>\s+(.*?)</div>')
content = re.findall(content_pattern, html)
return content
# 去除文字外所有內(nèi)容
def get_words_only(self, con):
for i in con:
# 刪除圖片
each = re.sub(r'<img class=".*?>', '', i)
# 刪除簽名
each = re.sub(r'<div class="post_bubble_top".*?>', '', each)
# 換行
each = re.sub(r'<br>', '\n', each)
# 刪除超鏈接
each = re.sub(r'<a href=.*?</a>', '', each)
self.res.append(each)
return self.res
# 下載到本地
def save_text(self):
# 帖子標(biāo)題作為文件名
file_title = self.get_title()
# 最大頁(yè)碼
page_num = int(self.get_page_num())
with open(file_title + '.txt', 'w', encoding='utf-8') as f:
for number in range(1, page_num + 1):
con = self.get_content(number)
result = self.get_words_only(con)
f.writelines(result)
# 只保存圖片
def save_images(self, folder):
page_num = int(self.get_page_num())
# 文件名序號(hào)
seq = 1
os.mkdir(folder)
os.chdir(folder)
for number in range(1, page_num + 1):
html = self.open_url(number)
img_pattern = re.compile(r'<img class="BDE_Image" src="(.*?jpg)"')
images = re.findall(img_pattern, html)
time.sleep(10)
for each in images:
filename = str(seq) + '.jpg'
request.urlretrieve(each, filename)
seq += 1
time.sleep(2)
if __name__ == '__main__':
spider = SpiderBaidu('http://tieba.baidu.com/p/4698209454')
title = spider.get_title()
total_num = spider.get_page_num()
print('{}(共{}頁(yè))'.format(title, total_num))
spider.save_text()
spider.save_images('圖')
by @sunhaiyu
2016.8.16
