爬蟲爬取百度貼吧圖片

#-*- coding: UTF-8 -*-
import urllib
import urllib2
import re
import sys
def open_url(url2):
    req = urllib2.Request(url2)
    user_agent = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit'
    headers = {'User-Agent' : user_agent}
    try:page = urllib2.urlopen(req)
    except urllib2.URLError,e:
        print e.reason
        
    html = page.read().decode('utf-8')
    return html
    
def get_img(html):
    p = re.compile(r'src="([^"]+\.jpg)"')
    imglist = p.findall(html)
    i = 1
    for each in set(imglist):
        filename = each[-8:]
        try:
            urllib.urlretrieve(each,filename,None)
            print "downloading" + str(i) + "個新垣結衣"
        except:
            print "Unexpected error:", sys.exc_info()[0]
        i+= 1
def start():
    for j in range(1,pages+1):
        url2 = url + str(j)
        get_img(open_url(url2))
        print '已經爬取了第 ' + str(j) + ' 頁'
if __name__=='__main__':
    url = raw_input('輸入網址,把pn=后面的數字去掉')
    pages = int(raw_input('該帖子有多少頁?'))
    start()

看看效果吧

QQ圖片20160825162043.png

![%J0N0_0$ODJ71]{3)VS3{TU.png](http://upload-images.jianshu.io/upload_images/2577034-85b6151f1fb333fa.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

等我把beautifulsoup 還有正則學好,我就可以征服草榴了!!!

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容