一：簡介和安裝docker
對于較大型的爬蟲需求可以利用服務器搭建docker 的python爬蟲框架，這樣可以充分利用服務器的資源而且可以限制cpu 內存的使用 監控爬蟲程序的情況。
利用docker的另一個好處就是可以很方便的把容器導出來然后在另一個有docker環境的主機中就可以運行，十分方便。
默認服務器上已裝好docker。如果還沒安裝docker 請先安裝一下。
參考文檔：https://docs.docker.com/engine/installation/
二：安裝docker-compose
Docker Compose是一個用來定義和運行復雜應用的Docker工具。使用Compose，可以在一個文件中定義一個多容器應用，利用配置文件docker-compose.yml 就可以創建管理一組容器，方便容器間的數據連接和網絡通訊。
參考文檔：https://docs.docker.com/compose/install/
Compose是一個用來運行多容器組合的Docker應用，
pip install docker-compose
三：準備文件
新建一個文件夾，并進入執行下面操作。
- 1.把python爬蟲程序放進去
- 2.新建文件 Dockerfile 和 requirements.txt 用于手動構建鏡像
- 3.新建文件docker-compose.yml 后面利用docker-compose控制多個容器協作工作。
爬蟲程序demo:
import pymongo
import redis
import requests
client = pymongo.MongoClient('mongodb')
db = client['test']
col = db['new']
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6'}
def crawl():
url = 'http://www.ximalaya.com/tracks/57774592.json'
data = requests.get(url, headers=headers).json()
print(data)
col.insert(data)
to_redis(data['play_path_64'])
def to_redis(data):
r = redis.StrictRedis(host='redis', port=6379)
r.sadd("test", '{}'.format(data))
print("{} into redis".format(data))
def pop_redis():
r = redis.StrictRedis(host='redis', port=6379, decode_responses=True)
r.spop("test")
if __name__ == '__main__':
crawl()
注意上面的redis 數據庫和mongodb 數據庫連接host 填寫 redis 和mongodb 即可,不用填入分配的ip 和 容器ID 就行了。
四：利用Dockerfile準備創建鏡像
爬蟲需要的鏡像為mongo redis python 這些可以直接pull官網的即可。
官方鏡像獲取命令為：
docker pull name:tag
name 鏡像的名字 tag 即為標簽名
執行命令：
docker pull redis
docker pull mongo
默認情況不加標簽會拉取最新的官網鏡像 redis:latest 和mongo:latest
執行命令：
docker pull python:3.6
即可拉取官網python標簽是3.6鏡像,但是這個鏡像還沒有任何的模塊，下面將使用Dockerfile構建一個有模塊的鏡像：
打開之前新建的Dockerfile 文件寫入以下信息
FROM python:3.6
MAINTAINER lulu@guo
ADD . /code
WORKDIR /code
RUN pip install -r requirements.txt
CMD ["python", "test.py"]
命令解釋：
FROM
FROM 后面指定的鏡像為后續的指令設置一個基礎的鏡像
MAINTAINER
字面意思，Dockerfile 維護人員
ADD
ADD指令是從本地一個文件夾中copy文件、目錄或者遠程文件URL中的文件，然后添加它們到鏡像的文件系統中。ADD . /code把Dockerfile當前目錄全部文件導入到鏡像中的/code位置。
WORKDIR
指定容器的工作目錄
RUN
RUN 命令的exec形式，利用該命令給python鏡像添加爬蟲必備模塊RUN ["executable", "param1", "param2"]
CMD
利用該命令即可在容器開啟后執行爬蟲代碼。CMD ["executable","param1","param2"]（exec形式，一個首選的形式）
Dockerfile 構建完成后執行下面命令創建鏡像，名字及標簽為python:v1
docker run -t python:v1
手動構建鏡像后執行下面命令查看當前已有的鏡像，即可看到新的python:v1 鏡像
docker images
五：配置docker-compose.yml 文件，構建多容器配合爬蟲系統
打開之前新建的docker-compose.yml 文件，寫入下面代碼
version: '1'
services:
main-python:
image: "python:v1"
volumes:
- .:/code
mongodb:
image: "mongo:latest"
links:
- main-python
volumes:
- ./db:/data/db
ports:
- "27017:27017"
redis:
image: "redis:latest"
links:
- main-python
volumes:
- ./redis-data:/redis/data
ports:
- "6379:6379"
命令簡單介紹：
version
docker-compose 的版本
services
services: main-python: image: "python:v1"services 下有共三個服務，它的下一級標簽 image 指定該服務的鏡像。
第一個是main-python 用于執行爬蟲程序，第二個服務是mongo數據庫，第三個是redis數據庫
image 則是指定服務的鏡像名稱或鏡像 ID。如果鏡像在本地不存在，Compose 將會嘗試拉取這個鏡像。
例如下面這些格式都是可以的：image: redis image: ubuntu:14.04 image: tutum/influxdb image: example-registry.com:4000/postgresql image: a4bc65fd
volumes
從本地指定一個目錄掛載到鏡像容器中volumes: - ./db:/data/db
links
links 優先于指定一個爬蟲程序的容器啟動數據庫links: - main-python
ports
指定映射端口。ports: - "6379:6379"
六：通過docker-compose 運行多容器服務
docker-compose --help 可以查看基本命令
build Build or rebuild services
bundle Generate a Docker bundle from the Compose file
config Validate and view the Compose file
create Create services
down Stop and remove containers, networks, images, and volumes
events Receive real time events from containers
exec Execute a command in a running container
help Get help on a command
images List images
kill Kill containers
logs View output from containers
pause Pause services
port Print the public port for a port binding
ps List containers
pull Pull service images
push Push service images
restart Restart services
rm Remove stopped containers
run Run a one-off command
scale Set number of containers for a service
start Start services
stop Stop services
top Display the running processes
unpause Unpause services
up Create and start containers
version Show the Docker-Compose version information
常用的命令有：
- docker-compose ps 查看項目容器列表
- docker-compose up 創建并且啟動多個容器的服務容器，數據卷，網絡的一系列組件。
- docker-compose down 與up相對，down命令可以停止容器并刪除包括容器、網絡、數據卷等內容。如果網絡、數據卷等資源正在被使用，down命令會跳過這些組件。
- docker-compose stop / start / restart 為停止 / 開啟 / 重啟 服務容器
最后一步——運行該服務：
docker-compose up
運行后就抓取了一條喜馬拉雅的json數據保存到了mongodb數據庫中，另外將一條音頻url 保存到redis數據庫中。
七：總結
本次教程的文件以及代碼倉庫：https://github.com/rieuse/Docker-demo
由于時間有限先完成以上記錄，后面還需要做的有：限制docker容器對 cpu 內存 網絡等資源的使用，多數據庫的集群，或者多主機的爬蟲集群負載均衡
