Python3爬蟲實戰: requests+正則爬取音樂網站Allmusic

本文同時發布至我的個人博客,點擊進入我的個人博客閱讀。本博客供技術交流與經驗分享,可自由轉載。轉載請附帶原文鏈接,感謝!

項目背景

AllMusic 是一個關于音樂的元數據資料庫,在1991年由流行文化維護者Michael Erlewine與數學家兼哲學博士Vladimir Bogdanov創立,目的是成為音樂消費者的導覽。AllMusic New Releases 是 AllMusic 為用戶提供的一項內容推薦服務,以周為頻次向用戶推薦本周的新音樂/新專輯,甚至你可以通過郵件的形式來訂閱該內容。

對于中重度音樂愛好者或習慣聆聽新音樂的人群,AllMusic New Releases 提供了很優秀的推薦服務。作為一個嚴謹專業音樂資料庫,AllMusic 提供十分專業且全面的音樂信息。于此同時,AllMusic 有一個由若干專家樂評人組成的內容團隊,每周推薦的都是一些比較具有音樂性或話題性的專輯,同時也提供十分專業的樂評

作為一名 AllMusic 的用戶,我對其中的內容質量十分滿意,但是使用過程中還是有一些不好的體驗:

  1. 由于服務器架設在國外,雖然沒有被墻,但是網頁加載十分緩慢。
  2. AllMusic 在去年接入廣告服務,需要安裝對應的廣告插件才能正常訪問。

學習了 Python 的基本爬蟲技術后,我決定嘗試一下通過爬蟲技術來規避這個問題。基本思路是:爬取最近10周的 AllMusic New Releases 的內容,獲取專輯圖片(地址)、藝術家、專輯名、風格、廠牌、評分等基本信息,并以文本形式存儲于本地,下次需要查看時可以直接查看本地文件。

功能實現

一個原始的爬蟲實現可以分為:抓取頁面 —> 信息提取 —> 格式化輸出/存儲,同時,由于我們需要處理10個頁面,所以引入線程池來實現多線程爬蟲能一定程度地優化爬蟲性能。有了基本的方向之后就可以開始編寫程序,這里我們使用最原始的步進式編程策略來完成。

(一)抓取單個頁面

Python 中關于實現頁面抓取的一般有 urllibrequests, 這里我們選擇 API 更加簡潔的requests

def getOnePage(url, headers):
    try:
        rp = requests.get(url=url, headers=headers)
        if rp.status_code == 200:
            return rp.text
        return None
    except RequestException as e:
        print('Request Exception')
        return None

getOnePage()主體上是一個try...except...結構,調用requests.get()獲取指定 url 的 html 代碼,并以字符串的形式返回;若獲取失敗則獲取函數拋出的RequestException異常,同時要注意 Allmusic 會檢查 get 方法的請求頭,所以我們需要傳入headers請求頭參數。

(二)信息析取

這里我們需要爬取兩方面的信息:一是我們需要獲取的New Releases 的內容;二是需要從網頁中獲取日期信息來構成url(當然也可以直接通過算法計算,Allmusic 的更新日期是每周的周五)。

析取 New Releases 中的內容

使用Chrome的開發者工具分析我們需要爬取的網頁,觀察我們關心的字段內容及其所在的標簽。這里我們使用正則表達式匹配來解析,當然你也可以選擇 BeautifulSoup、Pyquery 等網頁解析庫。

def parseOnePage(html):
    # use regular expression to get the specified information we want. It do not work well on 'artist' file, so we
    # we have to process 'artist' after it
    pattern = re.compile('album-cover">.*?img src="(.*?)".*?artist">(.*?)</div>.*?title">.*?>(.*?)</a>.*?label">(.*?)</div>.*?styles">.*?>(.*?)</a>.*?allmusic-rating rating-allmusic-(\d+)">.*?headline-review">(.*?)<div.*?author">(.*?)</div>', re.S)
    items = re.findall(pattern, html)
    for item in items:
        # process the 'artist',in order to remove the html code such as '<a>xxx</a>', I use re.split() func.
        artist = item[1].strip()
        artist = re.split('<.*?>', artist)
        artist = ''.join(artist).strip()
        yield {
            'cover': item[0],
            'artist': artist,
            'title': item[2],
            'label': item[3].strip(),
            'styles': item[4],
            'allmusic-rating': item[5],
            'review': item[6].strip(),
            'author': item[7].strip()[2:],
        }

這里使用正則表達式來解決確實帶來了一定的麻煩,問題在于在匹配artist字段時由于html格式上的不統一給匹配語法帶來了麻煩,無法直接用一次正則匹配解決。這里最后采用的方法是“先擴大匹配范圍,然后再在后續處理中過濾不需要的內容”這種思路。首先,第一次通過pattern規則匹配,我們獲得類似如下格式的artist字段:

...
{'artist': '<a >Jefre Cantu-Ledesma</a>'}
{'artist': 'Various Artists'}
{'artist': '<a }
...

進而,使用re.split('<.*?>', artist),過濾標簽即可獲得文本內容:

...
{'artist': 'Jefre Cantu-Ledesma'}
{'artist': 'Various Artists'}
{'artist': 'Peacers'}
...

正則表達式的用法技巧性比較強,不停地試錯和調試然后靈活地調用方法才能比較高效地解決問題。正常匹配之后,我們可以嘗試添加如下main()函數測試單網頁的爬取是否正常。

def main():
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36',
        'Host': 'www.allmusic.com'
    }
    url = 'http://www.allmusic.com/newreleases' 
    print(parseOnePage(getOnePage(url, headers)))
    
if __name__ == '__main__':
  main()

獲取日期信息

若單網頁能正常爬取,那么我們可以開始考慮爬取多個網頁。首先分析這些網頁url規律:

http://www.allmusic.com/newreleases/20170818
http://www.allmusic.com/newreleases/20170811
http://www.allmusic.com/newreleases/20170804
...

不難想到,我們只要獲取所有的日期并以’YYYYMMDD‘的形式添加在基礎url上,就可以得到最終的url。通過一下方法,我們可以從網頁中獲取日期信息:

def getDate(html):
    # get the most recent date and save as a 'datetime'
    pattern = re.compile('week-filter">.*?value="(.*?)".*?selected">', re.S)
    selecteDate = re.findall(pattern, html)[0]
    selecteDatetime = datetime.strptime(selecteDate, '%Y%m%d')
    date = []
    # Allmusic update its information per week so we get information one time for every 7 days. The way to realize it
    # is changing the end of url(such as /20170818 to 20170811)
    for i in range(10):
        i_timedelta = timedelta(7 * i, 0, 0)
        last_datetime = selecteDatetime - i_timedelta
        date.append(datetime.strftime(last_datetime, '%Y%m%d'))
    return date

類似地,也是使用正則匹配的方法。另外,這里我在獲取第一個日期字符串后,將其轉為datetime對象,以使用datetime的相關方法來計算得出剩余九個需要獲取的日期。

(三)靜態本地存儲

def writeDown(content):
    with open('AllmusicNewReleasesLast10Week.txt', 'a', encoding='utf-8') as f:
        f.write(json.dumps(content, ensure_ascii=False) + '\n')
        f.close()

寫入txt文件中,實現本地存儲。

(四)多線程爬取

修改main()函數與文件入口,將爬取10個網頁的線程加入線程池中,進行多線程爬取:

def main(offset):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome' +
                      '/60.0.3112.90 Safari/537.36',
        'Host': 'www.allmusic.com'
    }
    url = 'http://www.allmusic.com/newreleases'
    date = getDate(getOnePage(url, headers))
    new_url = url + '/' + date[offset]
    for i in parseOnePage(getOnePage(new_url, headers)):
        print(i)
        writeDown(i)

        
if __name__ == '__main__':
    pool = Pool()
    pool.map(main, [i for i in range(10)])

在控制臺輸出,引入多線程后爬取時間縮短了2-3秒左右,性能明顯提升。

項目總結

第一次寫爬蟲程序,選擇了使用 requests + 正則的實現方案,主要是為了鞏固基礎技術。正則表達式雖然強大,但是在實現過程中確實會遇到困難。或許使用 BeautifulSoup 一個簡單的標簽選擇就可以實現的解析,用正則來實現可能會繁瑣許多,工具選擇確實對實現效率有很大影響。當然,熟練地使用正則表達式,也能在很多時候很巧妙地解決問題。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 173,466評論 25 708
  • Spring Cloud為開發人員提供了快速構建分布式系統中一些常見模式的工具(例如配置管理,服務發現,斷路器,智...
    卡卡羅2017閱讀 134,981評論 19 139
  • /*** 調整窗口的透明度* @param from>=0&&from<=1.0f* @param to>=0&&...
    Dragon_Boat閱讀 986評論 0 1
  • 曾經寫過一篇文章,談及PPT90天踐行自己的遺憾,有遺憾是否還接著遺憾嗎?所有的遺憾最后都成為自己心里不敢觸及的一...
    木樨木閱讀 539評論 1 12
  • 今天,一大早來到公司,早會都沒來得及開就送膠水去公務員小區客戶家施工,回來之后經理回來開早會,開完早會就去參加車展...
    鄧承友閱讀 132評論 0 0