一般防爬蟲有很多辦法，最基本的是判斷header是不是瀏覽器，比如python有個robot-detection庫可以判斷，不過這個太好模擬了，沒有用。然后可以通過分析日志限定用戶ip一定時間段內訪問次數，或者通過cookie、session限定特定用戶的訪問次數等。理論上說，凡可以看到的內容都是可以通過技術手段爬到的，只是難易的差別。
下面記錄一下在ubuntu server上用tor搭建一個輪換IP的代理，如果爬蟲一定時間段內沒有得到內容，就可以換一個IP了。你可以先參考最后的幾個鏈接大致了解下。系統用的vultr日本機房ubuntu server14.04。這是一種不用花錢的解決方案，也可以直接購買一些提供IP代理的服務，不需要自己折騰了。(注意：國內的服務器提供商使用的ISP可能限制了tor，如果你按照下邊方法發現總是ttl超時，看下tor的log。推薦用國外的服務器跑爬蟲）
安裝
安裝tor，先sudo su一下。
apt-getupdate
apt-getinstall tor
/etc/init.d/tor restart
啟動后socks監聽9050端口。
tor --hash-password mypassword生成你的密碼，之后編輯/etc/tor/torrc
加上
ControlPort9051
HashedControlPassword16:872860B76453A77D60CA2BB8C1A7042072093276A3D701AD684053EC4C
讓ControlPort監聽9051端口，后邊那個16:開頭的hash就是上一步得到的。
/etc/init.d/tor restart重啟下tor。
Python使用
pip install requesocks
#!/usr/bin/env python# -*- coding:utf-8 -*-importosimportrequestsimportrequesocksurl ='https://api.ipify.org?format=json'defgetip_requests(url):print"(+) Sending request with plain requests..."r = requests.get(url)print"(+) IP is: "+ r.text.replace("\n","")defgetip_requesocks(url):print"(+) Sending request with requesocks..."session = requesocks.session()? ? session.proxies = {'http':'socks5://127.0.0.1:9050','https':'socks5://127.0.0.1:9050'}? ? r = session.get(url)print"(+) IP is: "+ r.text.replace("\n","")defmain():print"Running tests..."getip_requests(url)? ? getip_requesocks(url)? ? os.system("""(echo authenticate '"yourpassword"'; echo signal newnym; echo quit) | nc localhost 9051""")? ? getip_requesocks(url)if__name__ =="__main__":? ? main()
注意中間os.system這句，是用來重新生成一個新的ip的。一般在代碼里根據內容是否有效判斷是不是需要更新ip了，可以拋出一個異常之后執行這一句重新換個ip。
update：新的requests庫版本2.10.0已經支持socks代理了，這下就非常方便了，代理寫法和http一樣，具體參考其文檔，如此一來搭建一個輪換IP的爬蟲就非常容易了。
這個有更詳細的： www.xqq8.com?
