圖片來自于網絡
Python與數據庫-網絡爬蟲存儲
@(數據科學)[小樹枝來了, 幫助, Markdown, 網絡爬蟲, 數據存儲]
- 關系數據庫存儲-MySQL為例
- 爬蟲配合MySQL存儲
- 瑞士軍刀-SQLite
- 分布式數據存儲-NoSQL數據庫
- 爬蟲配合mongoDB存儲
tips:
- 使用虛擬環境時，conda安裝的組件在jupyter中無法import，需要在虛擬環境中重新conda install jupyter notebook；
- 存在基礎環境和虛擬環境共用jupyter環境；
- conda install beautifulsoup4
- 可以用jupyter notebook進行MATLAB開發，在matlab安裝目錄中查找python文件里面的setup，用console運行生成python-MATLAB適配器built文件即可；注意：MATLAB只支持python3.5和python2.7；
假設你已經（或者有能力）獲取大量數據（通過爬取），那么選擇何種方式去存儲數據非常重要
一般而言就爬蟲問題，我們可以選擇：
- 文本文件的形式保存（比如csv）
- 數據庫
- 文件系統
第一種
- 優勢：方便，隨時使用，不需要第三方的支持
- 劣勢：健壯性差，擴展性差
第二種
- 優勢：良好的擴展性，使用廣泛
- 劣勢：（硬要說的話）需要第三方支持，需要進行選擇，對技術有一定要求
第三種
- 更自由，但技術要求會更高
當你選擇使用數據庫作為你的爬蟲的后端存儲方案時，核心的問題是：
哪種數據庫或者組合能夠最好解決你的問題？
- 數據庫類型
- 關系型，鍵值型，文檔型等等
- 驅動力
- 實際解決的問題場景
- 關系型：數據庫查詢的靈活性 > 靈活的模式
- 面向列的數據庫：適合存儲多機的海量數據
- 數據庫的特性
- 除了CRUD
- 數據庫是否有模式
- 數據庫是否支持快速索引查找
- 數據庫是否支持自由定義的查詢
- 數據庫是否在查詢前必須先進行規劃
- 數據庫的性能
- 是否方便進行優化
- 是否容易對讀寫進行優化
- 支不支持分片，復制
- 數據庫的伸縮性
- 橫向擴展（MongoDB）
- 縱向擴展（PostgreSQL）
說說爬蟲：
一般的數據，基本上都沒有問題
-
數據變大，數據量和并發都很大的時候
- 關系型數據庫容量和讀寫能力可能會有問題
- 爬蟲的信息（一般來說比如文本），一般不需要建立關系
- 爬蟲字段經常變化，相對嚴格模式的關系數據庫，NoSQL會更有優勢
- 文檔型（MongoDB）更加自由
- 容易橫向擴展、分片、復制
爬蟲數據比較臟亂
有時無法預期數據的字段（先爬下來再說）
NoSQL可以做Map Reduce優化
關系數據庫：
- 以集合理論為基礎的系統，實現為具有行和列的二維表
- 利用SQL（結構化查詢語言）編寫查詢，與數據庫管理系統交互
- SQLite, MySQL, PostgreSQL
創建database：
INSERT INTO countries (country_code, country_name)
VALUES ('us', 'United States'), ('mx','Mexico'),
('au','Australia'), ('gb','United Kingdom'),
('de','Germany'), ('ll','Loompaland');
select * from countries;
select * from cities;
show tables;
INSERT INTO countries (country_code, country_name)
VALUES ('us', 'United States');
DELETE FROM countries WHERE country_code = 'll';
CREATE TABLE cities(
name varchar(128) NOT NULL,
postal_code VARCHAR(9) CHECK (postal_code <> ''),
country_code CHAR(2) REFERENCES countries,
PRIMARY KEY (country_code, postal_code)
);
INSERT INTO cities
VALUES ('Portland', '87200', 'us');
UPDATE cities
SET postal_code = '97205'
WHERE name = 'Portland';
SELECT cities.*, country_name
FROM cities INNER JOIN countries
ON cities.country_code = countries.country_code;
DROP TABLE IF EXISTS venues;
CREATE TABLE venues(
venue_id int AUTO_INCREMENT PRIMARY KEY,
name VARCHAR(255),
street_address varchar(16),
typev CHAR(8),
postal_code VARCHAR(9),
country_code CHAR(10),
FOREIGN KEY (country_code, postal_code)
REFERENCES cities (country_code, postal_code) MATCH FULL
);
SELECT * FROM venues;
INSERT INTO venues (name, postal_code, country_code)
VALUES ('crystal ballroom', '97205', 'us');
SELECT v.venue_id, v.name, c.name
FROM venues v INNER JOIN cities c
ON v.postal_code=c.postal_code AND v.country_code = c.country_code;
創建鏈接：
# 模板
import pymysql
# 創建和數據庫server的連接
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='rootROOT', db='mysql')
# connect(charset='utf8')
# cur是一種能從包括多條數據記錄的結果中每次提取一條記錄的機制
# 可以說認為cur就是指針
# cur一種臨時的數據庫對象
cur = conn.cursor()
#cur.execute(“SQL代碼”)
#cur.execute("CREATE DATABASE shdata")
#cur.execute("USE shdata")
cur.close()
conn.close()
# 先建立cur，再執行字符設置
import pymysql
conn = pymysql.connect(host = '127.0.0.1', port=3306, user = 'root', passwd = 'rootROOT', db='mysql')
cur = conn.cursor()
**cur.execute('SET NAMES utf8')
cur.execute('SET CHARACTER SET utf8')
cur.execute('SET character_set_connection=utf8')**
# 使用sddatabase數據庫
cur.execute("USE hz")
#插入數據 （編碼解決）
#請查看commit的作用
cur.execute("INSERT INTO users2 VALUES(1, 'alice'),(2, 'bob'),(3, 'jack'),(4, 'rose')")
#查詢
cur.execute("SELECT * FROM users2")
for row in cur.fetchall():
print('%s\t%s' % row)
關鍵點，必須要提交
#表修改或插入數據后commit
conn.commit()
#關閉
cur.close()
#表修改或插入數據后commit
conn.commit()
conn.close()
MongoDB安裝
tips：
- 官網下載，這里是msi
- 直接安裝，然后將path放好
- C:\Program Files\MongoDB\Server\3.4\bin;（因為你要用到mongod）
- 啟動MongoDB服務之前需要必須創建數據庫文件的存放文件夾，否則命令不會自動創建，且不能啟動
e.g.
建立一個D:\mongodb\data\db
然后開啟mongodb的服務：
mongod --dbpath D:\mongodb\data\db
- 開服務的時候可能會遇到
"丟失api-ms-win-crt-runtime-l1-1-0.dll的提示，可通過運行vc_redist.2015.exe的方式解決"
命令行下運行 MongoDB 服務器
為了從命令提示符下運行 MongoDB 服務器，你必須從 MongoDB 目錄的 bin 目錄中執行 mongod.exe 文件。
C:\Program Files\MongoDB\Server\3.4\bin\mongod --dbpath D:\mongodb\data\db
如果執行成功，會輸出如下信息：
2015-09-25T15:54:09.212+0800 I CONTROL Hotfix KB2731284 or later update is not
installed, will zero-out data files
2015-09-25T15:54:09.229+0800 I JOURNAL [initandlisten] journal dir=c:\data\db\j
ournal
2015-09-25T15:54:09.237+0800 I JOURNAL [initandlisten] recover : no journal fil
es present, no recovery needed
2015-09-25T15:54:09.290+0800 I JOURNAL [durability] Durability thread started
2015-09-25T15:54:09.294+0800 I CONTROL [initandlisten] MongoDB starting : pid=2
488 port=27017 dbpath=c:\data\db 64-bit host=WIN-1VONBJOCE88
2015-09-25T15:54:09.296+0800 I CONTROL [initandlisten] targetMinOS: Windows 7/W
indows Server 2008 R2
2015-09-25T15:54:09.298+0800 I CONTROL [initandlisten] db version v3.0.6
……
連接MongoDB
我們可以在命令窗口中運行 mongo.exe 命令即可連接上 MongoDB，執行如下命令：
C:\Program Files\MongoDB\Server\3.4\bin\mongo.exe
MongoDB使用
利用工具：Robomongo(圖形化操作)
- 建立一個連接
- 然后進行操作
名詞比較：
SQL:MongoDB:解釋
database:database:數據庫
table:collection:表/集合
row:document:數據行/文檔
primary key:primary key 主鍵/MongoDB自動將_id字段設置為主鍵
注意:
在mongo中創建一個collection,只需要在該collection中插入第一條記錄。由于mongo沒有模式，不需要預先定義模式（比如create），可以直接使用。而且，就算你建立了一個新的collection，比如mongo book，你不插入數據，這個collection其實并不存在。
# 命令行下：
> mongo newdb
> use yourdb
> db.towns.insert({
name: "New York",
population: 2220000,
last_census: ISODate("2009-07-31"),
famous_for: ["status of liberty", "food"],
mayor: {
name: "Jack",
party: "I"
}
})
> show collections
> db.towns.find()
插入數據
采用javascript語言寫，在mongo控制臺：
> function insertCity(name, population, last_census,famous_for,mayor_info){
db.towns.insert({
name: name,
population: population,
last_census: ISODate(last_census),
famous_for: famous_for,
mayor: mayor_info
});
}
> insertCity("Punxsutawney", 6200, '2008-31-01', ["phil the groundhog"], {name: "Jim"})
> insertCity("Portland", 52800, '2007-31-01', ["beer","food"], {name: "Sam"})
> db.towns.find()
> db.towns.find(
{famous_for:'food'},
{_id:0, name:1, famous_for:1}
)
MongoDB配合python使用
import pymongo
建立連接：
from pymongo import MongoClient
client = MongoClient()
#client = MongoClient('localhost', 27017)
#client = MongoClient('mongodb://localhost:27017')
#訪問數據庫
db = client.newdb
#db = client['pymongo_test']
#不管有沒有，自動建立
#插入文檔
posts = db.posts
post_data = {
'title': 'Python and MongoDB',
'content': 'PyMongo is fun',
'author': 'jack'
}
result = posts.insert_one(post_data)
print('插入一條記錄: {0}'.format(result.inserted_id))
# ServerSelectionTimeoutError: localhost:27017: [WinError 10061] 由于目標計算機積極拒絕，無法連接。
#插入文檔
posts = db.posts
post_data = {
'title': 'Python and MongoDB',
'content': 'PyMongo is fun',
'author': 'jack'
}
result = posts.insert_one(post_data)
print('插入一條記錄: {0}'.format(result.inserted_id))
#同時插入多組
post_1 = {
'title': 'Python and MongoDB',
'content': 'PyMongo is fun',
'author': 'jack'
}
post_2 = {
'title': 'Virtual Environments',
'content': 'Use virtual environments',
'author': 'alice'
}
post_3 = {
'title': 'Learning Python',
'content': 'Learn Python, 從入門到放棄',
'author': 'alice'
}
new_result = posts.insert_many([post_1, post_2, post_3])
print('插入多條: {0}'.format(new_result.inserted_ids))
#查找
bills_post = posts.find_one({'author': 'jack'})
print(bills_post)
#查找多條
alice_posts = posts.find({'author': 'alice'})
print(alice_posts)
#查找多條
for post in alice_posts:
print(post)
案例分析
針對Ajax異步加載，發現json數據，可以直接入庫
import requests
url = 'http://www.guokr.com/scientific/'
# 和花瓣的區別，不用找link，直接把json數據入庫
import json
url = 'http://www.guokr.com/apis/minisite/article.json?retrieve_type=by_subject&limit=20&offset=78&_=1492275395425'
html = requests.get(url)
data_list = json.loads(html.text)
print(data_list.keys())
for data in data_list['result']:
#pass
print(data)
輸出：
dict_keys(['now', 'ok', 'limit', 'result', 'offset', 'total'])
{'image': '', 'is_replyable': True, 'channels': [], 'channel_keys': [], 'preface': '', 'id': 442811, 'subject': {'url': 'https://www.guokr.com/scientific/subject/biology/', 'date_created': '2014-05-23T16:22:09.282129+08:00', 'name': '生物', 'key': 'biology', 'articles_count': 2617}, 'copyright': 'owned_by_translate', 'author': {'url': 'https://www.smithsonianmag.com/author/joshua-rapp-learn/', 'introduction': '新聞記者，寫作領域為科學、文化和環境', 'nickname': 'Joshua Rapp Learn', 'avatar': {'small': 'https://pbs.twimg.com/profile_images/727488838759682048/zK3SAwdF.jpg', 'large': 'https://pbs.twimg.com/profile_images/727488838759682048/zK3SAwdF.jpg', 'normal': 'https://pbs.twimg.com/profile_images/727488838759682048/zK3SAwdF.jpg'}}, 'image_description': '', 'is_show_summary': False, 'minisite_key': 'sciblog', 'image_info': {'url': 'https://3-im.guokr.com/nF4LLMvJ7oittqYCTztIqICCyPHkkg_19Yhd2cqhJblKAQAA6wAAAEpQ.jpg', 'width': 330, 'height': 235}, 'subject_key': 'biology', 'minisite': {'name': '科技評論', 'url': 'https://www.guokr.com/site/sciblog/', 'introduction': '科學與思考是人類前進的兩只腳，協同一致，我們才能真正進步', 'key': 'sciblog', 'date_created': '2010-10-20T16:20:44+08:00', 'icon': 'https://3-im.guokr.com/wUTGS9coWHVZatYqlPTFGo1ig-2JKzSeLNm1FHweYXRuAAAAWgAAAEpQ.jpg'}, 'tags': ['生物', '考古', '狼', '狗', '同位素', '食物'], 'date_published': '2018-03-07T12:04:42+08:00', 'video_content': '', 'authors': [{'introduction': '新聞記者，寫作領域為科學、文化和環境', 'url': 'https://www.smithsonianmag.com/author/joshua-rapp-learn/', 'nickname': 'Joshua Rapp Learn', 'avatar': 'https://pbs.twimg.com/profile_images/727488838759682048/zK3SAwdF.jpg', 'ukey_author': None}], 'replies_count': 35, 'is_author_external': True, 'recommends_count': 0, 'title_hide': '狗是人類的好朋友，但朋友也曾經只是食物', 'date_modified': '2018-03-07T12:06:55.212594+08:00', 'url': 'https://www.guokr.com/article/442811/', 'title': '狗是人類的好朋友，但朋友也曾經只是食物', 'small_image': 'https://3-im.guokr.com/nF4LLMvJ7oittqYCTztIqICCyPHkkg_19Yhd2cqhJblKAQAA6wAAAEpQ.jpg', 'summary': '狗：啥？你再說一遍！', 'ukey_author': None, 'date_created': '2018-03-07T12:04:42+08:00', 'resource_url': 'https://apis.guokr.com/minisite/article/442811.json'}
from bs4 import BeautifulSoup
import requests
import json
import pymongo
url = 'http://www.guokr.com/scientific/'
def getData(url):
connection = pymongo.MongoClient('localhost', 27017)
guokeDB = connection.guokeDB
guokeData = guokeDB.guokeData
html = requests.get(url)
data_list = json.loads(html.text)
print(data_list.keys())
for data in data_list['result']:
guokeData.insert_one(data)
urls = ['http://www.guokr.com/apis/minisite/article.json?retrieve_type=by_subject&limit=20&offset={}&_=1462252453410'.format(str(i)) for i in range(20, 100, 20)]
for url in urls:
getData(url)
