文章介紹
在上一篇博文中，我講述了利用Python的selenium模塊抓取動態(tài)數(shù)據(jù)的方法點擊打開鏈接，那么這些抓到的數(shù)據(jù)如何處理呢？可以寫入到excel表格中制成表格，進而畫成統(tǒng)計圖表直觀顯示出來。例如按照時間軸統(tǒng)計網(wǎng)站的在線人數(shù)，查看哪個時間段人最多，哪個時間段人最少，從而網(wǎng)站維護人員可以按照合適的時間分配資源，用戶則可以選擇合適的時間訪問。
要做到以上所述的數(shù)據(jù)處理，涉及到兩個問題：
一是如何把數(shù)據(jù)寫入已存在的表格中，并且多次寫入不會影響先前的數(shù)據(jù)；
二是如何每隔一段時間運行抓取動態(tài)數(shù)據(jù)的函數(shù)和寫入到excel表格的函數(shù)，Linux下用crontab很好解決，但windows則比較麻煩。
解決思路
第一個問題，用xlwt模塊不能解決，因為xlwt每次都會把excel文件中已存在的數(shù)據(jù)清除再寫入，用xlutils模塊可以將數(shù)據(jù)寫入到已存在的excel中而且不影響sheet中原有的數(shù)據(jù)。你需要安裝xlutils模塊，聯(lián)網(wǎng)狀態(tài)下cmd直接輸入pip install xlutils，系統(tǒng)會找到Python的安裝目錄直接下載解壓并安裝這個模塊。等到終端提示完成后可以看看，在C:\Python27\Lib\site-packages目錄下有沒有selenium模塊，這個目錄取決于你安裝Python的路徑。如果有xlutils和xlutils-1.7.1-py2.7.egg-info這兩個文件夾，代表模塊可以在Python程序中被加載了。另外還要安裝xlrd模塊，由這個模塊的子模塊open_workbook對excel文件執(zhí)行打開操作，返回文件對象讓xlutils的copy子模塊重寫數(shù)據(jù)進去，安裝xlrd的方法同上。
第二個問題，其實沒那么復雜，一開始還考慮是不是要用到os.system(command)或者windows計劃任務(wù)什么的？但是往簡單的角度想，直接寫一個循環(huán)：循環(huán)里面執(zhí)行抓取動態(tài)數(shù)據(jù)的函數(shù)和寫入到excel表格的函數(shù)，然后time.sleep(x)讓進程暫停x秒，接著跳入下一次循環(huán)即可。至于什么時候終止循環(huán)，引入計數(shù)變量即可。
程序?qū)崿F(xiàn)
思路已經(jīng)有了，直接上代碼。
運行程序，會自動實現(xiàn)下面一系列的操作：
打開瀏覽器并且打印抓取到的數(shù)據(jù)列表->把數(shù)據(jù)寫入到excel中->計數(shù)變量加1->關(guān)閉session和關(guān)閉瀏覽器。
每隔半小時執(zhí)行一次上述的操作流，這里程序設(shè)計成當計數(shù)變量到20的時候跳出循環(huán)，終止程序運行。
運行效果
在終端打印的結(jié)果如下（前4次循環(huán)的結(jié)果）：
版塊名稱和在線人數(shù)寫入到excel表格里的效果如下：
從中選擇某幾個版塊，以時間為橫坐標，在線人數(shù)為縱坐標，插入折線圖，畫出統(tǒng)計圖表：
這里時間跨度不大，在線人數(shù)變化不多，因此折線圖的效果不是很明顯，如果讓程序運行一天，統(tǒng)計24小時內(nèi)各個時間段的在線人數(shù)情況，變化就比較明顯了。按照這種方法實現(xiàn)統(tǒng)計在線人數(shù)，簡單直接，并且系統(tǒng)開銷很小。唯一要保證的是，你的瀏覽器能正確訪問指定的url，程序不會異常（好像也不好保證的說= = )。
