Tumblr上面有很多的好東西，這是大家都知道的。現在需要用爬蟲把它趴下下來，但是有些網頁需要登錄才能看到，因為它們有"Sensitive Information"。如果直接訪問的話，頁面會直接跳轉到Safe Mode，所以需要注冊一個賬戶，登錄之后再爬。

平臺

Ubuntu 16.04
Linux類的系統其實都行，本方法沒有什么特別平臺依賴

軟件包

Python3

sudo pip3 install selenium
sudo pip3 install phantomjs

注意：

Ubuntu16.04 用apt裝的phantomjs有bug，所以要pip來安裝。

代碼及解釋

# 導入需要的模塊
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 導入系統相關的模塊
import logging
import time
import sys
# 設置logging
logging.basicConfig(stream=sys.stdout, level=logging.INFO)
logger = logging.getLogger(__name__)
# 設置代理參數
# 如果您不在大陸地區則可以省略這個參數
service_args = [
        '--proxy=127.0.0.1:1080', #您的梯子的地址
        '--proxy-type=socks5',    #梯子的類型
    ]

def login():
    # 網絡地址
    url = "http://www.tumblr.com/login"
    # 用瀏覽器的類型，這里是PhantomJS
    driver = webdriver.PhantomJS(service_args=service_args) 
    # driver = webdriver.Firefox()
    # 設置瀏覽器窗口大小
    driver.set_window_size(1920, 1080)
    # 獲取頁面內容
    driver.get(url)
    body    = driver.page_source
    # 找到填寫email地址的文本框
    e_email = driver.find_element_by_xpath("http://input[@id='signup_determine_email']")
    e_email.clear()
    e_email.send_keys("name@hotmail.com") # 你登錄用的email地址
    # 找到Next按鈕
    e_next  = driver.find_element_by_xpath("http://span[@class=\"signup_determine_btn active\"]")
    e_next.click()
    logger.info("click next");
    # 設置等待對象
    wait = WebDriverWait(driver, 20)
    # 等輸入密碼的文本框加載出來
    # 這里用來判斷的是出現Sign In的按鈕
    e_login = wait.until(lambda driver: driver.find_element_by_xpath("http://span[@class=\"signup_login_btn active\"]"))
    # 找到密碼文本框
    e_pwd = driver.find_element_by_xpath("http://input[@id='signup_password']")
    e_pwd.clear()
    e_pwd.send_keys("password") #您的密碼
    # 點一下Sign In按鈕
    e_login.click()
    logger.info("click login");

    # 等等出現一個導航條，就算加載完成
    wait.until(lambda driver: driver.find_element_by_xpath("http://nav[@id=\"post_buttons\"]"))
    # time.sleep(5)
    logger.info("login ok, redirect to %s" % driver.current_url);
    # 獲得cookie
    # cookies = driver.get_cookies()

    # 受保護的地址
    url = "https://xxxxx.tumblr.com/"
    driver.get(url)
    # 看看頁面還會不會被跳轉到Safe Mode
    logger.info("link to %s, redirect to %s" % (url, driver.current_url));
    # 保存頁面為一個圖片
    driver.save_screenshot('screen.png')