ip代理的一個網站,如果代理信息有誤或者代理無法使用則會發生被遠程主機拒絕訪問等錯誤

#1.首先建立一個名為use_proxy的自定義函數，該函數的主要實現使用代理服務器來爬取url的功能
#2.該函數有兩個參數，一個為代理地址，另一個為url地址
#3.使用urllib.request.ProxyHandler()來設置對用的代理服務器信息
#4. 使用urllib.request.install_opener()創建全局opener對象
import urllib.request

def use_proxy(proxy_addr,url):
    proxy = urllib.request.ProxyHandler({'http':proxy_addr})
    opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
    urllib.request.install_opener(opener)
    data = urllib.request.urlopen(url).read().decode('utf-8')
    return data

proxy_addr = '60.178.1.122:8081'
data = use_proxy(proxy_addr,'http://www.baidu.com')
print(len(data))