python-爬蟲教程

引用:https://germey.gitbooks.io/python3webspider/content/2.2-Web%E7%BD%91%E9%A1%B5%E5%9F%BA%E7%A1%80.html?

reference:https://germey.gitbooks.io/python3webspider/content/1.2.3-ChromeDriver%E7%9A%84%E5%AE%89%E8%A3%85.html

建立文件夾:mkdir python3

建立文件 vim python3.txt

? ? ? ? ? ? vim:只讀方式打開([O]), 直接編輯((E)), 恢復((R)), 退出((Q)), 中止((A)):


流程:抓取頁面、分析頁面、存儲數據

(1)請求庫的安裝:

1.爬取頁面:使用python3的第三方庫來請求http網頁內容,庫為:Requests、Selenium、Aiotttp 等;

? ? 安裝過程:pip3 install requests? 和 wheel? python3驗證:import requests? 不報錯;

2.Selenium 是一個自動化測試工具,利用它我們可以驅動瀏覽器執行特定的動作,如點擊、下拉等等操作,對于一些 JavaScript 渲染的頁

? 面來說,此種抓取方式非常有效;

? ? 安裝過程:pip install selenium? ? ? pthon3? import selenium? 不報錯就可以了;

? ? selenium與Chrome關聯:1.查找chrome號:如:版本 70.0.3538.77(正式版本) (64 位);進入網站下載對應版本的chromedriver;

? https://sites.google.com/a/chromium.org/chromedriver/downloads? (網站要翻墻的);在 Windows 下,建議直接將? ?

chromedriver.exe 文件拖到 Python 的 Scripts 目錄下:chromedriver? 就可以了 沒報錯。

? ? 隨后再在python程序中測試,執行如下 Python 代碼:出現空白chrome網頁

? ? ? from selenium import webdriver

? ? ? ? browser = webdriver.Chrome()

3.Aiohttp的安裝:合理安排時間做其他的事情

? 安裝:pip install aiohttp

? 另外官方還推薦安裝如下兩個庫,一個是字符編碼檢測庫 cchardet,另一個是加速 DNS 解析庫 aiodns,安裝命令如下:比如維護一個?

代理池,利用異步方式檢測大量代理的運行狀況,極大提高效率。

(2)解析庫的安裝

? ? 抓取下網頁代碼之后,下一步就是從網頁中提取信息,LXML、BeautifulSoup、PyQuery 等庫-使用的是LXML、BeautifulSoup、PyQuery

解析方法

安裝 pip3 install lxml? 測試:>>> import lxml

pip3 install beautifulsoup4? 測試:from bs4 import BeautifulSoup soup = BeautifulSoup('<p>Hello</p>', 'lxml') print

(soup.p.string)? 結果為:hello

? 安裝:pip3 install pyquery? 驗證:>>> import pyquery

? Tesserocr的安裝:識別二維碼:http://digi.bib.uni-mannheim.de/tesseract/? 之后安裝pip3Tesserocr : install tesserocr? ?

pillow



寫到這里真的就不想學了,感覺沒有時間了。想學的可以看著引用的用就是了,還是蠻詳細的。

我還是學生物的,忘記了老本行了都。感覺學的都不是很精確,但是總覺得還是懂一點點的。就這樣吧。。。

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 229,885評論 6 541
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,312評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 177,993評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,667評論 1 317
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,410評論 6 411
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,778評論 1 328
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,775評論 3 446
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,955評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,521評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,266評論 3 358
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,468評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,998評論 5 363
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,696評論 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,095評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,385評論 1 294
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,193評論 3 398
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,431評論 2 378

推薦閱讀更多精彩內容

  • 一年前499買了這套教程,當時完全按照教程內的代碼實現,是不能成功實現爬取的,對于初學的我來說,有困難又不能解決,...
    zhangxun_e855閱讀 900評論 0 0
  • 1. python3的安裝 官網地址: http://python.org 下載地址: https://www.p...
    mo_陌上花開閱讀 278評論 0 3
  • 二級結束了…… 開學的前三周一直被二級練題所牽制,沒課的時候要回宿舍拿出電腦做題,下午四點放學要回宿舍練題,練到晚...
    海棠樹子閱讀 240評論 0 2
  • 停下來兩日,就不知道如何開始,于是又掉進慣性的漩渦里。 我和寶兒帶小新和文小姐一起去看了電影《一條狗的使命》。小新...
    米粒2020閱讀 266評論 0 1
  • Because you had a premonition that one day the author wou...
    小小朵的春天閱讀 211評論 0 0