今天實驗室又雙叕斷網了,我能有什么辦法呢。。我也很無奈啊……正好借此機會總結下最近學習的相關東西。
1.先檢查實驗室的網絡環境,順便了解下計算機軟硬件相關知識以及網絡相關的知識。實驗室有服務器,交換機,路由器,學生pc機,學生手機。學生pc機如何上網呢,先通過學校的信心中心把網絡連接到服務器,如果這步沒問題,服務器就可以成功連上網。然后,通過服務器個交換機的配置已經交換機和pc端的連接,最后ping通網絡。而學生手機上網,只是在交換機之外又連接了個無線路由器,然后手機就可以無線上網了。當然各個設備都是需要網線來互聯的。對于網線的水晶頭如何做?上次也體驗了下,網線里面有各種各樣顏色的線,按順序將其排列在水晶頭中就可以了。anyway ,說了這么多,只要學校斷網,信息中心網絡除了問題,也就只能跪了。。。
2.Linux 相關。雖說一直都知道linux 屬于開源的操作系統,大多數服務器都是用linux,是開著所必須掌握的操作環境。但是自己接觸的真的太少太少,以前本科的時候有進入過Linux 的操作系統體驗過,當時的自己只是覺得很新奇再加一臉懵逼,并沒有好好學習。。。突然無比后悔自己本科時候為什么不好好學點扎實的技術呢。。現在的自己還得慢慢地再學習這些。現在我學習的目的主要是想了解下基本的環境和操作。至于Linux 的知識體系之類的,剛剛報了個學習班(老徐講的,崇尚分享互助。嗯……),等明天聽過了之后再來補充。
抱著只是了解下Linux 的心態,就裝了個VM ware 的虛擬機,然后在其中導入Ubuntu kylin的iso文件,這樣就創造了一個虛擬的linux操作系統。登錄進入,按CTR Alt f1可進入命令行模式。然后就有關于Linux 的各種常用命令,比如ls,vim ,sudo,等等,自己也就學到這個級別。另外,用CTR Alt 可以讓鼠標移動到你的Windows 桌面。確實學得很淺,有待明天的補充。。
3.python 相關。最開始學python 的原因是因為自己想重新撿起代碼編程這些東西,無奈之前學過的c和java 都沒學好,就想開始一門新的語言,重點是她簡單啊啊啊。。嗯,然后就覺得開始了。主要需求是學習爬蟲和數據分析相關,畢竟科研有需求。然而,從上學期就開始學的我,似乎什么都沒學到,就學了一些基本語法。主要是因為當時的自己并沒有好好認真學,遇到一點困難就呼天喊地。。安裝個開發環境都很為難,不是這里報錯就是那里有問題,遇到問題又不知道怎么解決。好在現在這些問題都已經解決了。。。雖說有很多小細節還沒把握,但是查查相關文檔也就知道了。算是已經入門了吧。。現在自己的環境是python 3.5(竟然是32位的,我也是服了我自己,畢竟我的操作系統是64位哇。。)寫代碼主要用pychram ,偶爾用IDLE 調試下,當然還需要用到命令提示符。。關于操作系統系統變量的配置啊等也知道一些,算是搭好了個基礎框架吧。。當然需要學習的東西還很多。
4.python爬蟲相關。除了了解爬蟲的基本原理之外,也知道如何使用requests 和beautiful soup 模塊來進行網頁下載以及網頁數據的提取。還有http相關的請求頭,代理,cookies 等相關內容。但是不知道如何翻頁爬取,這也是一個很重要的問題。嗯,據說有很好的爬蟲框架……那我們就來看看scrapy 。
5.scrapy 相關。scrapy startproject …scrapy crawl …scrapy shell …創建scrapy 項目后,就會有個文件夾,里面包含很多文件都有其對應的解釋。爬蟲程序的主體是寫在spiders 里面。。如何寫?這里又涉及到了,正則表達式,css,xpath 等。。。路還很長,需要慢慢學習。加油哦~
6.MySQL 和mongodb 相關。也只是初步了解了下,查詢等簡單語句。還有python 如何與數據庫連接。。對于python爬取出來的數據如何存儲,以哪種格式存儲也是個需要好好探討的問題。txt?json?存儲之后又要進行什么樣的處理呢?……
總之,路還很長,需要靜下心來慢慢學習。