噢!這是一篇關于Python 爬蟲的技術文

今天實驗室又雙叕斷網了,我能有什么辦法呢。。我也很無奈啊……正好借此機會總結下最近學習的相關東西。

1.先檢查實驗室的網絡環境,順便了解下計算機軟硬件相關知識以及網絡相關的知識。實驗室有服務器,交換機,路由器,學生pc機,學生手機。學生pc機如何上網呢,先通過學校的信心中心把網絡連接到服務器,如果這步沒問題,服務器就可以成功連上網。然后,通過服務器個交換機的配置已經交換機和pc端的連接,最后ping通網絡。而學生手機上網,只是在交換機之外又連接了個無線路由器,然后手機就可以無線上網了。當然各個設備都是需要網線來互聯的。對于網線的水晶頭如何做?上次也體驗了下,網線里面有各種各樣顏色的線,按順序將其排列在水晶頭中就可以了。anyway ,說了這么多,只要學校斷網,信息中心網絡除了問題,也就只能跪了。。。

2.Linux 相關。雖說一直都知道linux 屬于開源的操作系統,大多數服務器都是用linux,是開著所必須掌握的操作環境。但是自己接觸的真的太少太少,以前本科的時候有進入過Linux 的操作系統體驗過,當時的自己只是覺得很新奇再加一臉懵逼,并沒有好好學習。。。突然無比后悔自己本科時候為什么不好好學點扎實的技術呢。。現在的自己還得慢慢地再學習這些。現在我學習的目的主要是想了解下基本的環境和操作。至于Linux 的知識體系之類的,剛剛報了個學習班(老徐講的,崇尚分享互助。嗯……),等明天聽過了之后再來補充。

抱著只是了解下Linux 的心態,就裝了個VM ware 的虛擬機,然后在其中導入Ubuntu kylin的iso文件,這樣就創造了一個虛擬的linux操作系統。登錄進入,按CTR Alt f1可進入命令行模式。然后就有關于Linux 的各種常用命令,比如ls,vim ,sudo,等等,自己也就學到這個級別。另外,用CTR Alt 可以讓鼠標移動到你的Windows 桌面。確實學得很淺,有待明天的補充。。

3.python 相關。最開始學python 的原因是因為自己想重新撿起代碼編程這些東西,無奈之前學過的c和java 都沒學好,就想開始一門新的語言,重點是她簡單啊啊啊。。嗯,然后就覺得開始了。主要需求是學習爬蟲和數據分析相關,畢竟科研有需求。然而,從上學期就開始學的我,似乎什么都沒學到,就學了一些基本語法。主要是因為當時的自己并沒有好好認真學,遇到一點困難就呼天喊地。。安裝個開發環境都很為難,不是這里報錯就是那里有問題,遇到問題又不知道怎么解決。好在現在這些問題都已經解決了。。。雖說有很多小細節還沒把握,但是查查相關文檔也就知道了。算是已經入門了吧。。現在自己的環境是python 3.5(竟然是32位的,我也是服了我自己,畢竟我的操作系統是64位哇。。)寫代碼主要用pychram ,偶爾用IDLE 調試下,當然還需要用到命令提示符。。關于操作系統系統變量的配置啊等也知道一些,算是搭好了個基礎框架吧。。當然需要學習的東西還很多。

4.python爬蟲相關。除了了解爬蟲的基本原理之外,也知道如何使用requests 和beautiful soup 模塊來進行網頁下載以及網頁數據的提取。還有http相關的請求頭,代理,cookies 等相關內容。但是不知道如何翻頁爬取,這也是一個很重要的問題。嗯,據說有很好的爬蟲框架……那我們就來看看scrapy 。

5.scrapy 相關。scrapy startproject …scrapy crawl …scrapy shell …創建scrapy 項目后,就會有個文件夾,里面包含很多文件都有其對應的解釋。爬蟲程序的主體是寫在spiders 里面。。如何寫?這里又涉及到了,正則表達式,css,xpath 等。。。路還很長,需要慢慢學習。加油哦~

6.MySQL 和mongodb 相關。也只是初步了解了下,查詢等簡單語句。還有python 如何與數據庫連接。。對于python爬取出來的數據如何存儲,以哪種格式存儲也是個需要好好探討的問題。txt?json?存儲之后又要進行什么樣的處理呢?……

總之,路還很長,需要靜下心來慢慢學習。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • 序言第1章 Scrapy介紹第2章 理解HTML和XPath第3章 爬蟲基礎第4章 從Scrapy到移動應用第5章...
    SeanCheney閱讀 15,152評論 13 61
  • 中間空了兩周沒寫總結,主要是這兩周也確實啥都沒做,不好意思寫 做的事情 1.面試coding.net 2.寫了個選...
    醬油_閱讀 189評論 0 0
  • 老三出差,與兄弟公司不太熟的大毛哥合住一個標間。大毛哥四十多歲,兒子剛上大學。 兩個不太熟的人住在一個屋檐下,大毛...
    烏卓閱讀 772評論 2 2
  • 一、熱身 1.放松小跳,25秒(50-60個) 2.合掌跳20秒(40個) 3.交替側弓步20秒(20個) 4.高...
    錢盅鍾閱讀 555評論 0 0
  • 大川拿著一杯褐色的酒,燈光的閃爍讓酒杯看起來玲瓏剔透,他仰起頭,緩緩把酒倒入口中。只見吧臺的桌上,一瓶烈酒...
    珈迦閱讀 482評論 10 10