Python3爬取ACM近期比賽數據并寫入Excel文檔

這個爬蟲是今年暑假時學完小甲魚的Python視頻后寫的。關于Python3的爬蟲教程不多,下面只是使用了一些簡單的用法。

程序使用了xlwt包,用于創建Excel文檔并寫入數據,安裝很簡單:pip install xlwt

關于ACM近期比賽,下面的鏈接種給出了一個json格式的源數據。我們可以用Python的urllib下載下來,然后解析這個json即可。

http://contests.acmicpc.info/contests.json

import xlwt, json, urllib.request

def getDate():
    page = urllib.request.urlopen("http://contests.acmicpc.info/contests.json")
    return page.read().decode()

def getJson(s):
    j = json.loads(s)
    return j

def writeExcel(header, v):
    wb = xlwt.Workbook()
    ws = wb.add_sheet('Sheet1')
    for c in range(len(header)):
        ws.write(0, c, header[c])
        for r in range(len(v)):
            ws.write(r+1, c, v[r][header[c]])
    wb.save('Recent contests.xls')

header = ['oj', 'name', 'link', 'start_time', 'week', 'access']
writeExcel(header, getJson(getDate()))
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容