反反爬蟲
通常通過如下方法來進行反爬蟲
- 檢查User-Agent
- 驗證碼
- 一個IP訪問的頻次或總的訪問次數
- cookie有效時間
- 數據存儲為圖片格式
應對方法：
- 隨機UA
# -*- coding:utf-8 -*-
"""
File Name : 'random_ua'.py
Description:
Author: 'chengwei'
Date: '2016/5/13' '16:31'
"""
import sys
import random
# reload(sys)
# sys.setdefaultencoding('utf-8')
def example():
print random_chose()
def random_chose():
"""
隨機返回列表中的UA
:return:
"""
user_agents = ['Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20130406 Firefox/23.0',
'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0',
'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533+ (KHTML, like Gecko) Element Browser 5.0',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)',
'Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14',
'Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5355d Safari/8536.25',
'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1468.0 Safari/537.36',
'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/5.0; TheWorld)',
'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.1 Safari/537.36',
'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:41.0) Gecko/20100101 Firefox/41.0',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36'
]
user_agent = random.choice(user_agents)
ua = {'User-Agent': user_agent}
return ua
if __name__ == '__main__':
example()
驗證碼，使用opencv進行預先處理，再通過Tesseract-OCR識別，當然如果針對特定的驗證碼進行人工訓練，效果更好。驗證碼部分請參考爬蟲：8.驗證碼識別部分。
一個IP的訪問頻次或者總的次數，需要大量的代理IP。
后面會用go實現一個動態IP，對外開放一個IP，此IP將請求轉發到后臺的代理IP去執行請求。cookie有效時間經常針對賬號和IP，常用的解決辦法是建立賬號對應的cookie池，并自動更新，隨機使用cookie，一旦無效就進行更新或者排除，排除是因為某些情況一個賬號一天只允許特定次數的請求。
有的網站將部分數據以圖片格式存儲，那么我們又需要應用OCR技術。
提供OCR接口的公司很多，微軟的牛津計劃中就有很方便的OCR接口，而且每個月的免費次數不少，一般情況夠用。
附牛津計劃地址：https://www.azure.cn/cognitive-services
歡迎補充！
