requests + re 爬百度圖片
一、爬取百度圖片一頁
import requests
import re
import os
#url = input("請輸入百度圖片首頁地址")
url = r'https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gbk&word=%C3%C0%C5%AE&fr=ala&ala=1&alatpl=cover&pos=0&hs=2&xthttps=111111'
html = requests.get(url).text
links = re.findall(r'"objURL":"(.*?)"', html) #一個圖片對應許多鏈接，經測試圖片鏈接在 objURL 這個標簽內。用正則找出
dirpath = os.getcwd() + '\\pictures'
if not os.path.isdir(dirpath):
os.mkdir(dirpath)
index = 1
for link in links:
print("Downloading:", link)
try:
res = requests.get(link)
if str(res.status_code)[0] == "4":
print("未下載成功：", link)
continue
except Exception as e:
print("未下載成功：", link)
filename = os.path.join(dirpath, str(index) + ".jpg")
with open(filename, 'wb') as f:
f.write(res.content)
index += 1
print("下載結束，一共 {}張圖片" .format(index))
二、爬取更多圖片
通過上面的方法我們可以成功爬取百度的一頁圖片。但是要獲取更多圖片呢？可以用 selenium 庫，但用別的方法呢？ 從網頁中我們可以看到要通過下拉才能顯示出更多圖片，但網址的url并沒有改變。按 F12 后在 Network 中觀察，可以發現在下拉過程中，出現了 xhr 這個東東
點進去看看
把這個請求頭的 URL 復制下，在瀏覽器地址欄輸入，可以看到是 JSON 格式的數據。所以這是一個傳輸 JSON 格式的網址。
那么圖片在哪呢，點開 preview ，在 data 中看到了0~30 的數據，隨便點開一個
可以看到，圖片就是以 json 格式存在這里。圖片鏈接地址還是在 objURL 標簽內。
那么要下載圖片的方法就是通過爬取一個個 json 格式的網址，找出里面的圖片鏈接就行了。
通過不斷下拉網頁，分析幾個請求頭的 URL ，我們可以分析出它的規律。
詳情請看 http://lovenight.github.io/2015/11/15/Python-3-%E5%A4%9A%E7%BA%BF%E7%A8%8B%E4%B8%8B%E8%BD%BD%E7%99%BE%E5%BA%A6%E5%9B%BE%E7%89%87%E6%90%9C%E7%B4%A2%E7%BB%93%E6%9E%9C/
我們可以寫出任意關鍵詞和它匹配的所有圖片網址鏈接
import itertools
import urllib
def buildUrls(word):
word = urllib.parse.quote(word)
url = r"http://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&fp=result&queryWord={word}&cl=2&lm=-1&ie=utf-8&oe=utf-8&st=-1&ic=0&word={word}&face=0&istype=2nc=1&pn={pn}&rn=60"
urls = (url.format(word=word, pn=x) for x in itertools.count(start=0, step=60)) #創建一個生成器
return urls
所需的 json 圖片網址搞定了，那么接下去我們要從傳回的 json 字符串中找出圖片的下載鏈接
re_url = re.compile(r'"objURL":"(.*?)"')
imgs = re_url.findall(html)
查看一下 objURL 內的圖片下載鏈接
這是什么下載鏈接 0.0
"objURL":"ippr_z2C$qAzdH3FAzdH3Fj_z&e3Bitri5p5f_z&e3Bkwt17_z&e3Bv54AzdH3Ft4w2jAzdH3FrtvAzdH3Ftpj4AzdH3F1a9nw19k188n0nua1mwvvdlwwmau9kukukj1a9d0_z&e3B3r2"
原來是加密了，破解方法還是在上面的鏈接中
所以我們可以寫出解密方法了。
sign_table = { #解碼 : . / 這三個符號
'_z2C$q': ':',
'_z&e3B': '.',
'AzdH3F': '/'
}
char_table = { #解碼其他字符
'w': 'a',
'k': 'b',
'v': 'c',
'1': 'd',
'j': 'e',
'u': 'f',
'2': 'g',
'i': 'h',
't': 'i',
'3': 'j',
'h': 'k',
's': 'l',
'4': 'm',
'g': 'n',
'5': 'o',
'r': 'p',
'q': 'q',
'6': 'r',
'f': 's',
'p': 't',
'7': 'u',
'e': 'v',
'o': 'w',
'8': '1',
'd': '2',
'n': '3',
'9': '4',
'c': '5',
'm': '6',
'0': '7',
'b': '8',
'l': '9',
'a': '0'
}
# python3字符串的translate方法需要用單個字符的十進制unicode編碼作為key
# value 中的數字會被當成十進制unicode編碼轉換成字符
# 也可以直接用字符串作為value
char_table = {ord(key): ord(value) for key, value in char_table.items()}
def decode(url):
# 先替換字符串
for key, value in sign_table.items():
url = url.replace(key, value)
# 再替換剩下的字符
return url.translate(char_table)
if __name__ == '__main__':
url = r"ippr_z2C$qAzdH3FAzdH3Fj_z&e3Bitri5p5f_z&e3Bkwt17_z&e3Bv54AzdH3Ft4w2jAzdH3FrtvAzdH3Ftpj4AzdH3F1a9nw19k188n0nua1mwvvdlwwmau9kukukj1a9d0_z&e3B3r2"
print(decode(url))
http://e.hiphotos.baidu.com/image/pic/item/d043ad4bd11373f0d6acc29aa60f4bfbfbed0427.jpg
得出正確圖片下載鏈接
三、下載代碼
歸納一下思路
- 生成所有圖片的網址列表
- 發送 json 格式的 HTTP 請求，獲取 json 數據
- 解析數據得到圖片下載鏈接
- 下載圖片
import requests
import urllib
import os, re
import itertools
sign_table = { #解碼 : . / 這三個符號
'_z2C$q': ':',
'_z&e3B': '.',
'AzdH3F': '/'
}
char_table = { #解碼其他字符
'w': 'a',
'k': 'b',
'v': 'c',
'1': 'd',
'j': 'e',
'u': 'f',
'2': 'g',
'i': 'h',
't': 'i',
'3': 'j',
'h': 'k',
's': 'l',
'4': 'm',
'g': 'n',
'5': 'o',
'r': 'p',
'q': 'q',
'6': 'r',
'f': 's',
'p': 't',
'7': 'u',
'e': 'v',
'o': 'w',
'8': '1',
'd': '2',
'n': '3',
'9': '4',
'c': '5',
'm': '6',
'0': '7',
'b': '8',
'l': '9',
'a': '0'
}
# python3字符串的translate方法需要用單個字符的十進制unicode編碼作為key
# value 中的數字會被當成十進制unicode編碼轉換成字符
# 也可以直接用字符串作為value
char_table = {ord(key): ord(value) for key, value in char_table.items()}
# 解碼圖片URL
def decode(url):
# 先替換字符串
for key, value in sign_table.items():
url = url.replace(key, value)
# 再替換剩下的字符
return url.translate(char_table)
# 生成網址列表
def buildUrls(word):
word = urllib.parse.quote(word)
url = r"http://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&fp=result&queryWord={word}&cl=2&lm=-1&ie=utf-8&oe=utf-8&st=-1&ic=0&word={word}&face=0&istype=2nc=1&pn={pn}&rn=60"
urls = (url.format(word=word, pn=x) for x in itertools.count(start=0, step=60))
return urls
# 解析JSON獲取圖片URL
re_url = re.compile(r'"objURL":"(.*?)"')
def resolveImgUrl(html):
imgUrls = [decode(x) for x in re_url.findall(html)]
return imgUrls
# 下載圖片
def downImg(imgUrl, dirpath, imgName):
filename = os.path.join(dirpath, imgName)
try:
res = requests.get(imgUrl, timeout=15)
if str(res.status_code)[0] == "4":
print(str(res.status_code), ":" , imgUrl)
return False
except Exception as e:
print("拋出異常：", imgUrl)
print(e)
return False
with open(filename, "wb") as f:
f.write(res.content)
return True
if __name__ == '__main__':
print("歡迎使用百度圖片下載腳本！\n目前僅支持單個關鍵詞。")
print("下載結果保存在腳本目錄下的picture文件夾中。")
print("=" * 50)
word = input("請輸入你要下載的圖片關鍵詞：\n")
dirpath = os.getcwd() + '\\pictures'
if not os.path.isdir(dirpath):
os.mkdir(dirpath)
urls = buildUrls(word)
index = 0
for url in urls:
print("正在請求：", url)
html = requests.get(url, timeout=10).content.decode('utf-8')
imgUrls = resolveImgUrl(html)
if len(imgUrls) == 0: # 沒有圖片則結束
break
for url in imgUrls:
if downImg(url, dirpath, str(index) + ".jpg"):
index += 1
print("已下載 %s 張" % index)
