用理工科思維看待這個世界
系列爬蟲專欄
崇尚的學習思維是：輸入，輸出平衡，且平衡點不斷攀升。
曾經有大神告誡說：沒事別瞎寫文章；所以，很認真的寫的是能力范圍內的，看客要是看不懂，不是你的問題，問題在我，得持續(xù)輸入，再輸出。
今天的主題是：pymongo的簡單實用及其實戰(zhàn)
0：框架
| 序號 | 內容 | 說明 |
|---|---|---|
| 01 | 概念及對比說明 | -- |
| 02 | 對比 | -- |
| 03 | 實戰(zhàn) | -- |
| 04 | 參考及總結 | -- |
1：概念
數(shù)據(jù)庫
數(shù)據(jù)庫（Database）是按照數(shù)據(jù)結構來組織、存儲和管理數(shù)據(jù)的倉庫，
每個數(shù)據(jù)庫都有一個或多個不同的API用于創(chuàng)建，訪問，管理，搜索和復制所保存的數(shù)據(jù)。mongodb
MongoDB是一種文檔導向數(shù)據(jù)庫管理系統(tǒng)，是一種分布式文件存儲的數(shù)據(jù)庫，由C++編寫.特點：
MongoDB 將數(shù)據(jù)存儲為一個文檔，數(shù)據(jù)結構由鍵值(key=>value)對組成。MySQL
MySQL（官方發(fā)音為英語發(fā)音：/ma? ??skju???l/“My S-Q-L”[1]，但也經常讀作英語發(fā)音：/ma? ?si?kw?l/“My Sequel”）是一個開放源代碼的關系數(shù)據(jù)庫管理系統(tǒng).特點：
數(shù)據(jù)以表格的形式出現(xiàn)
每行為各種記錄名稱
每列為記錄名稱所對應的數(shù)據(jù)域
許多的行和列組成一張表單
若干的表單組成databaseSQL 和 Mongodb術語對比：
| SQL術語 | Mongodb術語 | 解釋說明 |
|---|---|---|
| database | database | 數(shù)據(jù)庫 |
| table | collection | 數(shù)據(jù)表，集合 |
| row | document | 數(shù)據(jù)記錄行，文檔 |
| column | field | 數(shù)據(jù)字段，域 |
| index | index | 索引 |
| primary key | primary key | 主鍵，mongodb自動將_id字段設為主鍵 |
可視化工具顯示：
關系型數(shù)據(jù)庫：數(shù)據(jù)記錄的顯示
Mongodb數(shù)據(jù)庫：數(shù)據(jù)記錄的顯示
2：對比
運行本地服務器
1： MongoDB ：路徑
mongod --dbpath C:\Mongodb\Data
2：MySQL
mysql -u root -ppython 下模塊
1：MongoDB
pymongo
2：MySQLdb
MySQLdbpython 下創(chuàng)建連接對象
1：mongodb
from pymongo import MongoClient
client = MongoClient('localhost',27017) # 創(chuàng)建連接對象
db = client.exercise # 創(chuàng)建數(shù)據(jù)庫
collection = db.tablename # 創(chuàng)建collection
# collection 使用各種方法實現(xiàn)：增刪改查
2：MySQLdb
import MySQLdb
mysql = MySQLdb.connect(
user="root",
host="localhost",
passwd="123456",
port=3306,
db='exercise',
charset='utf8') # 創(chuàng)建連接對象
cursor = mysql.cursor() # 創(chuàng)建游標對象
# 游標對象下執(zhí)行sql語句實現(xiàn)對數(shù)據(jù)的增刪改查
- pymongo 簡易教程
假設collection名為tablename
# 插入數(shù)據(jù)
data = {"A":1,"B":2}
tablename.insert_one(data) # 向數(shù)據(jù)庫插入一條數(shù)據(jù)
# 查詢數(shù)據(jù)
tablename.find_one() # 獲取數(shù)據(jù)庫一條數(shù)據(jù)
# 按條件查找
tablename.find_one({"A":1}) # 按條件返回一條數(shù)據(jù)
# 插入多條數(shù)據(jù)
new_data = [{"C":3,"D":4},{"E":5}]
tablename.insert_many(new_data)
# 查詢多條
for one in tablename.find():
print(one) # 逐條打印
# 計數(shù)
tablename.count() # 返回該集合下有多少條數(shù)據(jù)
3：實戰(zhàn)
專欄：009：
完整版代碼示例
實現(xiàn)了將數(shù)據(jù)儲存至MySQL數(shù)據(jù)庫
核心代碼不變: 添加存儲至mongodb 數(shù)據(jù)庫中：
def save_to_mongodb(self, each_page_film_data, tablename):
client = pymongo.MongoClient()
db = client.exercise
result = db.tablename.insert(each_page_film_data)
client.close()
# each_page_film_data 是JSON格式的數(shù)據(jù)
效果圖：可視化工具Robomongo
將全部數(shù)據(jù)取出查看：
def select_from_mongodb(self):
client = pymongo.MongoClient()
db = client.exercise
result = db.tablename.find()
return result
效果圖：每條數(shù)據(jù)自動添加_id字段
4：總結
淺顯的對比MySQL 和 mongodb數(shù)據(jù)庫。
數(shù)據(jù)庫存在很多shell 指令.
具體查看官方文檔。
關于本人：
國內小碩，半路出家的IT初學者。
興趣領域：爬蟲 ， 數(shù)據(jù)科學
本人正在構建一個共同成長爬蟲小型社群。持續(xù)精進。如果理念相似，歡迎加入。
文檔及代碼托管在Github上。
