MongoDB因為上手比較簡單,所以這個課程使用了它。記住一點如果以后代碼出現了問題第一時間去查找下官方的文檔,第二時間才是去google it。
1.大致了解下MongoDB
? ? MongoDB 是一個介于關系數據庫和非關系數據庫之間的產品,是非關系數據庫當中功能最豐富,最像關系數據庫的。
? ? MongoDB 將數據存儲為一個文檔,數據結構由鍵值(key=>value)對組成。MongoDB 文檔類似于 JSON 對象。字段值可以包含其他文檔,數組及文檔數組。
2.開始了解MongoDB
? ? 注意ubuntu中默認的python3.4,所以在pycharm中的 project要選擇python3.4.應該是。這個應該是要在Terminal中輸入python之后顯示的版本號一致。
3.啟動MongoDB
? 在終端中輸入 ? 啟動mongodb
? 如果先啟動了VPN在啟動mongod會失敗,如果先啟動
4.使用pymongo
其實,使用pymongo的大致思路就是使用excel。
1.打開電腦,打開一個excel,打開一個sheet,輸入數據。下面是我自己寫的實例。
-----------------------------------------------------------------------------------------------------------------
import pymongo
#創建一個數據庫的實例
client = pymongo.MongoClient("localhost",27017)
#訪問client實例中的數據庫
omg = client["omg"]
#訪問數據庫中創建了一個表單
sheet_1 = omg["sheet_1"]
d = {'a':1,'b':2,'c':3}
#只有在這一步之后才會在mongodb中創建一個數據庫
# sheet_1.insert_one(d)
#寫入數據
foriinsheet_1.find():
print(i)
#讀取數據
foriinsheet_1.find():
print(i)
----------------------------------------------------------------------------------------------------------------------------
5.注意爬取數據的類型
? ? 網頁中爬取的數據都是str,如果需要int什么的需要轉換。
6.寫代碼時的精神狀態
? ? 寫代碼時時刻需要知道,我需要寫那些步驟來完成這個任務,我現在在寫什么,寫了這個有什么用。
7.函數
? ? ? 寫的腳本最好用函數來拼接,以后在看到這個腳本不用在一行一行的讀代碼了,看一下函數名和注解基本就可以用了。