城市數據團課程學習總結

從三月份開始上城市數據團的課(我的學習筆記是3月17日開始),到現在五月中,終于差不多上完了,也看了近百個視頻。回頭一看還是個小成就。寫一點總結筆記。
起緣是因為我做地產方面,一直有關注他們的公眾號,看到有相關課程就毫不猶豫的報了名。
城市數據團在網易云課堂上一共開了四門課。按照我學習的順序是:

  1. 爬蟲入門,零編程數據爬取攻略
  2. 美感培養,數據可視化專題強化
  3. 小白逆襲,數據分析實戰進階心理
  4. 從零到一,python網頁爬蟲攻略
    另外還有一個大鵬教你玩數據,主要就2個視頻,還有發現城市的秘密就是pdf,有跟他們的公眾號的就不用特別再看了。

第一個是零編程爬蟲入門,主要先講火車頭采集器。當時我對學編程爬蟲還很抗拒,覺得用采集器好方便啊。這個上手也確實很快,很有成就感。用來入門挺好的。
實踐:爬了鏈家等幾個網站,后來不需要就沒有繼續爬。

第二個是美感培養,因為自信ppt做的不錯,所以有關ppt的視頻課我都略過了。這里主要是powermap的用法。因為powermap是excel2013年后提供的插件,所以可以update一下。其中的動態圖比較有用,我跟著做了一份廣州各區房價增長的動態圖。(正好這一年廣州房價嗖嗖的長,效果好明顯的。)
后來加了bdp圖表的制作,也很方便,因為是在線平臺,上手很快,基本上看過視頻就會操作了。

第三個是數據分析實戰,前面講的excel一些操作技巧屬于提高辦公效率的范疇。接下來是qgis,也是我感覺最有用的,因為這個領域并不是很多人涉及,不像已經講濫了的ppt,excel。但是做出來的分析和圖表可以很酷炫。

這個難度比較大一點,主要是軟件功能比較復雜,而且需要多圖層加載。比如柵格圖,就會生成一套柵格圖的圖層文件(一套,不止一個)。做完一個項目,文件夾里滿滿都是文件,有些自己都想不起來是干什么的了,又不敢刪掉,好煩。
如果入門不深,其實主要掌握熱力圖和柵格圖也可以過關。像泰森多邊形和德洛內三角這些略為復雜的空間分析手段,就不用深入了,反正做出來也很難解釋給吃瓜群眾。
這個軟件對于個人專業幫助很大,對于建筑師來講,雖然每天都和道路,坐標打交道,但常用的軟件還是cad,或者ps,sku這些,對archgis,qgis這些會比較陌生。這種全信息的地理平臺,可以把地域參數(比如人口,經濟,房價增長率)很直接的和經緯度落實在一起,對于數據分析和展現非常的有幫助。
后來我根據學到的技能,結合廣州土地等數據分析,再用柵格圖和熱力圖等展現出來,寫了一篇廣州土地出讓的分析文,因為在行內,用地理信息系統的大概還比較少,這類的數據展現也不多,所以也比較特別,在內部微信號發表出來后,立刻被某地產大號轉載,有6000+的閱讀量,也算不錯了。
運用qgis的缺點就是合適的shp文件并不是隨手可得,比如廣州2014-2015年市區劃分有很大調整,我差點連新區的文件都找不到,最后花了一點點錢才下載到手。而且手頭上的shp地圖也就是分區的,還沒有能劃分到街區的,所以數據還沒能落得很細,比如無法比較珠江新城(廣州的cbd)和其他周邊地區的數據。當然還有一個辦法就得自己比較費力的合并整理,這步工作我還沒有做。所以雖然qgis是很有用的軟件,但它的功能我可能還遠遠沒有發掘出來。

第四個就是python爬蟲,也是我個人花時間最多的課程。因為同時還買書學習,也加入了專門的學習群。這也是我做筆記最多的一門課。但畢竟這是一門腳本語言,需要從根本上理解邏輯和代碼,和一般的軟件操作并不一樣。很坦白的講,我覺得python這門課講的不是特別特別好,雖然大鵬很深入淺出,也很努力的把重點集中在50個視頻左右,但網頁爬取是一個比較動態的過程,每一個網頁都不太一樣。對于小白來說,最后只有2個實戰其實是不夠的,也還不太深入。看完視頻后還有挺多爬蟲不會的,也是有點挫敗感的。
如果要改進的話,個人的建議是多加入一些實戰課,并進行深一點的拓展,比如app的爬取,甚至更高階比如panda,scapy這些。那我就不用來來去去找其他資料啦。

其他方面,數據團的qq網上答疑也很及時,至少不是完全沒有回音。另外軟件給的很大方。比如qgis,anacoda這些軟件都是直接下載,真是滿方便的。

一百多節課說過去也過去了,大多是我利用午休時間看的,半小時左右可以看1-2個視頻,感覺也不是特別辛苦,也做了滿滿一本筆記。兩個月的業余時間(不是全部)學了以上所述的滿有用的幾項技能,總的來說還是很推薦的,所以寫下此文,供大家參考,也作為自己的一項學習總結。日后還要多多練習,把學費十倍百倍的掙回來(笑)。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容