什么是網絡爬蟲
簡單的說，網絡爬蟲就是一種自動抓去互聯網上資源的程序。
簡單的網絡爬蟲
簡單的網絡爬蟲原理就是使用特定的 url 作為種子，通過一定的規則去獲取網頁上的所需要的信息和新的 url，并對新的 url 進行爬取。
簡單的網絡爬蟲的架構
如下圖，是簡單網絡爬蟲的主要架構。主要分為三部分： url解析器，網頁下載器，網頁解析器。
pp1-簡單的爬蟲架構.PNG
url 解析器 ：負責管理待抓取的 url 集合以及抓取的 url 集合。其中包括：防止重復抓取，防止循環抓取等。
網頁下載器：將已經抓取的 url 對應的網頁下載下來，供給網頁解析器使用。
網頁解析器：主要的功能是獲取下載的網頁中的目標數據以后生成新的url 集合給 url 管理器。
簡單網絡爬蟲的工作流程
簡單爬蟲的運行流程.PNG
寫一個簡單的網絡爬蟲
以抓取百度百科中的 python 詞條頁面的超鏈接為例，代碼使用python語言。
url 管理器
url 管理器主要是管理 url 集合，這里使用了 python 的 set() 集合，因為 set() 里面的不存在相同元素。
class UrlManager(object):
def __init__(self):
#創建待爬取和已爬取url集合
self.new_urls = set()
self.old_urls = set()
#添加新的url到待爬取url集合
def add_new_url(self,url):
if url is None:
return
if url not in self.new_urls and url not in self.old_urls:
self.new_urls.add(url)
#判斷是否待爬取集合為空
def has_new_url(self):
return len(self.new_urls) != 0
#從待爬取集合中取出一個url
def get_new_url(self):
new_url = self.new_urls.pop()
self.old_urls.add(new_url)
return new_url
#往待爬取集合添加新的url
def add_new_urls(self,urls):
if urls is None or len(urls) == 0:
return
for url in urls:
self.add_new_url(url)
網頁下載器
這里是使用 python 的基礎庫 urllib2.urlopen() 方法下載 url對于網頁。
import urllib2
class HtmlDownloader(object):
def download(self,url):
if url is None:
return None
#直接請求
response = urllib2.urlopen(url)
#獲取狀態碼，返回200代表下載成功
if response.getcode()!= 200:
return None;
return response.read()
網頁解析器
這里使用了python 的庫— BeautifulSoup，其主要的功能是從網頁抓取數據，之后從抓取到的數據找到目標數據以及新的新的url集合給url管理器。代碼如下：
from bs4 import BeautifulSoup
import re
import urlparse
class HtmlParse(object):
#使用BeautifulSoup解析網頁下載器下載的網頁數據
def parse(self,page_url,html_cont):
if page_url is None or html_cont is None:
return
soup = BeautifulSoup(html_cont,'html.parser',from_encoding='utf8')
#獲取新的url集合
new_urls = self._get_new_urls(page_url,soup)
#獲取目標數據
new_data = self._get_new_data(page_url,soup)
return new_urls,new_data
#獲取新的待爬取url
def _get_new_urls(self, page_url, soup):
new_urls = set()
#使用正則表達式從BeautifulSoup獲取的數據中找到新的url
#頁面的url格式/item/%E8%9C%98%E8%9B%9B/8135707
#這里的soup.find_all() 可獲取全部符合條件的標簽對象
links = soup.find_all('a',href =re.compile(r"/item/[%A_Z0_9]+"))
for link in links:
new_url = link['href']
#生成完整的的url：http://baike.baidu.com/item/%E8%9C%98%E8%9B%9B/8135707
new_full_url = urlparse.urljoin(page_url,new_url)
new_urls.add(new_full_url)
return new_urls
#獲取目標數據，這里只是獲取了標簽<dd class="lemmaWgt-lemmaTitle-title">和<div class_="lemma-summary">中的內容
def _get_new_data(self, page_url, soup):
res_data = {}
#url
res_data['url'] = page_url
#<dd class="lemmaWgt-lemmaTitle-title"><h1>Python</h1>
#這里的soup.find() 將獲取第一個符合條件的標簽對象
title_node = soup.find('dd',class_="lemmaWgt-lemmaTitle-title").find("h1")
res_data["title"] = title_node.getText()
#<div class="lemma-summary" label-module="lemmaSummary">
#這里的soup.find() 將獲取第一個符合條件的標簽對象
summary_node = soup.find("div",class_="lemma-summary")
res_data["summary"] = summary_node.getText()
return res_data
數據輸出
這里只是將獲取的數據輸出到html文件上，當然也可以輸出到其他地方如數據庫，本地文件，看具體需要了。
class HtmlOutputer(object):
def __init__(self):
self.datas = []
def collect_data(self,data):
if data is None:
return
self.datas.append(data)
def output_html(self):
fout = open('output.html','w')
fout.write("<html>")
fout.write("<body>")
fout.write("<table>")
#默認是ascii，為了防止中文亂碼，需要轉成utf8
for data in self.datas:
fout.write("<tr>")
fout.write("<td>%s</td>" % data['url'])
fout.write("<td>%s</td>" % data['title'].encode('utf8'))
fout.write("<td>%s</td>" % data['summary'].encode('utf8'))
fout.write("</tr>")
fout.write("</table>")
fout.write("</body>")
fout.write("</html>")
最后，將所有的類連接起來：
#不要忘記引入其他類
from baike_py import html_downloader, html_outputer, html_parser
from baike_py import url_manager
class SpiderMain(object):
def __init__(self):
self.urls =url_manager.UrlManager()
self.downloader = html_downloader.HtmlDownloader()
self.parser = html_parser.HtmlParse()
self.outputer = html_outputer.HtmlOutputer()
def craw(self, root_url):
count = 1
self.urls.add_new_url(root_url)
while self.urls.has_new_url():
try:
new_url = self.urls.get_new_url()
print ("craw %d : %s" % (count,new_url))
html_cont = self.downloader.download(new_url)
new_urls,new_data = self.parser.parse(new_url,html_cont)
self.urls.add_new_urls(new_urls)
self.outputer.collect_data(new_data)
#這里只是抓取了1000條url數據
if count == 1000:
break
count = count + 1
except :
print (“craw failed”)
self.outputer.output_html()
if __name__=="__main__":
root_url = "http://baike.baidu.com/item/Python"
obj_spider = SpiderMain()
obj_spider.craw(root_url)
總結
- python 語言有很多相關的庫，用起來很方便，功能也很強大，如 對于url
下載網頁的方式這里只是最簡單的方法。當然，了解了其中的原理用什么語言都是一樣的。 - 以上只是一個簡單爬蟲，只是抓取靜態html上的url和目標數據。實際上網頁有很多資源是通過JavaScript 等動態方式顯示出來的，這樣還需要做額外處理；
- 對于網絡爬蟲還需要有更多學習的地方，如應對反爬取的策略，代理訪問，有的網站還需要使用cookie，分布式爬取等等。弱水三千，道阻且長。
