上一節(jié)我們講解如何抓取網(wǎng)頁和下載圖片,在下一節(jié)里面我們會講解如何抓取有限制抓取的網(wǎng)站
首先,我們依然用我們上一節(jié)課的方法去抓取一個大家都用來舉例的網(wǎng)站<blog.cndn.net>,本文主要分以下幾個部分:
1.抓取受限網(wǎng)頁
2.對代碼進行一些優(yōu)化
1.抓取受限網(wǎng)頁
首先使用我們上一節(jié)學到的知識測試一下:
'''
@本程序用來抓取blog.csdn.net網(wǎng)頁
'''
import urllib
url = "http://blog.csdn.net/FansUnion"
html = urllib.urlopen(url)
#getcode()方法為返回Http狀態(tài)碼
print html.getcode()
html.close()
#輸出
403
此處我們的輸出為403,代表拒絕訪問;同理200表示請求成功完成;404表示網(wǎng)址未找到.
可見csdn已做了相關屏蔽,通過第一節(jié)的方法是無法獲取網(wǎng)頁,在這里我們需要啟動一個新的庫:urllib2
但是我們也看到瀏覽器可以發(fā)那個文,是不是我們模擬瀏覽器操作,就可以獲取網(wǎng)頁信息.
老辦法,我們先來看看瀏覽器是如何提交請求給csdn服務器的.首先簡述一下方法:
打開網(wǎng)頁,右鍵點擊,選擇"inspect Element"(最下面這一項)
點擊下面彈起來的框框的Network選項卡
刷新網(wǎng)頁,就可以看到Network選項卡抓取了很多信息
找到其中一個信息展開,就能看到請求包的Header
以下就是整理后的Header信息
Request Method:GET
Host:blog.csdn.net
Referer:http://blog.csdn.net/?ref=toolbar_logo
User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.104 Safari/537.36
然后根據(jù)提取的Header信息,利用urllib2的Request方法模擬瀏覽器向服務器提交請求,代碼如下:
# coding=utf-8
'''
@本程序用來抓取受限網(wǎng)頁(blog.csdn.net)
@User-Agent:客戶端瀏覽器版本
@Host:服務器地址
@Referer:跳轉地址
@GET:請求方法為GET
'''
import urllib2
url = "http://blog.csdn.net/FansUnion"
#定制自定義Header,模擬瀏覽器向服務器提交請求
req = urllib2.Request(url)
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36')
req.add_header('Host', 'blog.csdn.net')
req.add_header('Referer', 'http://blog.csdn.net')
req.add_header('GET', url)
#下載網(wǎng)頁html并打印
html = urllib2.urlopen(req)
content = html.read()
print content
html.close()
呵呵,你限制我,我就跳過你的限制.據(jù)說只要瀏覽器能夠訪問的,就能夠通過爬蟲抓取.
2.對代碼進行一些優(yōu)化
簡化提交Header方法
發(fā)現(xiàn)每次寫那么多req.add_header對自己來說是一種折磨,有沒有什么方法可以只要復制過來就使用.答案是肯定的.
#input:
help(urllib2.Request)
#output(因篇幅關系,只取__init__方法)
__init__(self, url, data=None, headers={}, origin_req_host=None, unverifiable=False)
通過觀察,我們發(fā)現(xiàn)headers={},就是說可以以字典的方式提交header信息.那就動手試試咯!!
#只取自定義Header部分代碼
csdn_headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36",
"Host": "blog.csdn.net",
'Referer': 'http://blog.csdn.net',
"GET": url
}
req = urllib2.Request(url,headers=csdn_headers)
發(fā)現(xiàn)是不是很簡單,在這里感謝斯巴達的無私賜教.
提供動態(tài)頭部信息
如果按照上述方法進行抓取,很多時候會因為提交信息過于單一,被服務器認為是機器爬蟲進行拒絕.
那我們是不是有一些更為智能的方法提交一些動態(tài)的數(shù)據(jù),答案肯定也是肯定的.而且很簡單,直接上代碼!
'''
@本程序是用來動態(tài)提交Header信息
@random 動態(tài)庫,詳情請參考<https://docs.python.org/2/library/random.html>
'''
# coding=utf-8
import urllib2
import random
url = 'http://www.lifevc.com/'
my_headers = [
'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; .NET CLR 3.0.04506.648)',
'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; InfoPath.1',
'Mozilla/4.0 (compatible; GoogleToolbar 5.0.2124.2070; Windows 6.0; MSIE 8.0.6001.18241)',
'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)',
'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; Sleipnir/2.9.8)',
#因篇幅關系,此處省略N條
]
random_header = random.choice(headers)
# 可以通過print random_header查看提交的header信息
req = urllib2.Request(url)
req.add_header("User-Agent", random_header)
req.add_header('Host', 'blog.csdn.net')
req.add_header('Referer', 'http://blog.csdn.net')
req.add_header('GET', url)
content = urllib2.urlopen(req).read()
print content
其實很簡單,這樣我們就完成了對代碼的一些優(yōu)化.
這一節(jié)我們主要講了如圖抓取受限制網(wǎng)站,下一節(jié)將會介紹爬蟲神兵利器BeautifulSoup.
