此學(xué)習(xí)筆記整理于 Ryan Mitchell Web Scraping with Python- Collecting Data from the Modern Web (2015) Chapter 8 Reading and writing natural languages
天啦嚕！這個筆記真是讓人興奮不已啊！代碼寫得太好了作者。不多說了，上代碼和解釋。
1，首先，新建database，這一段代碼直接在mysql里寫的。
值得學(xué)習(xí)的地方有：1）并沒有create database Wikipedia；這個過程，直接上table，然后后面跟著‘Wikipedia’.‘pages’.厲害了，我的書。
然后依次是名稱，類型，默認(rèn)值，還有其他，比如第一個是自動增加，第三個是系統(tǒng)時間。
最后加上primary key是哪一個。
2. 開始從wiki的一個頁面開始爬取wiki內(nèi)部鏈接并存儲起來。
從上面的database結(jié)構(gòu)我們可以看出，存儲的內(nèi)容主要分為兩個部分：鏈接地址url和鏈接之間的關(guān)系（links from onepage to the other one）
還是一個函數(shù)一個函數(shù)看吧。
insertpageifnotexits函數(shù)
在數(shù)據(jù)庫找url這個鏈接，如果沒有（rowcount=0）,那就把這個鏈接存到database里面的pages。cur.commit() 確認(rèn)更改。返回pages的最后一行，就是我們新存進(jìn)去的那個鏈接所在的行。如果存在的話就返回cur.fetchone()[0],這個【0】是代表pages這個table的第一列即是id這一列。id是自動編號的，所以id的值等于其所在行的行數(shù)。
insertLink函數(shù)
看鏈接是否存在，如果不存在插入并確認(rèn)保存。跟上面一個函數(shù)類似，就不多說了。
getLinks函數(shù)
先看打開這個一個站點，找到所有的內(nèi)部鏈接，然后是把內(nèi)部鏈接存儲起來，再把link存儲起來。然后空的pages，如果發(fā)現(xiàn)的新頁面沒有研究過再進(jìn)入這個新頁面并向下一層.最多向下走4層，總共走到第5層（第5層也分析了。）。
這個getlinks也可以這么寫。
P.S.：沒能上車的小伙伴歡迎留言，如果我會我直接回答你！如果不會，我谷歌后回答你！如果要加我微信，不行。
