request = urllib2.Request(url)
ip_list=['119.6.136.122','114.106.77.14']
proxy_support = urllib2.ProxyHandler({'http':random.choice(ip_list)})
opener = urllib2.build_opener(proxy_support)
request.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')
urllib2.install_opener(opener)
response = urllib2.urlopen(request,timeout=30)
downloadFileData = response.read()
python添加代理反爬蟲策略
最后編輯于 :
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
- 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
- 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
- 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
推薦閱讀更多精彩內容
- 地址:https://github.com/Python3WebSpider/ProxyPool 為什么需要代理池...
- 今天做了個隨機變換IP的功能由于今天懶得寫爬蟲爬取西刺網 (http://www.xicidaili.com/wt...
- Problem Description 統計給定的n個數中,負數、零和正數的個數。 Input 輸入數據有多組,每...