Celery 分布式的任務隊列

與rabbitmq消息隊列的區別與聯系：

rabbitmq 調度的是消息，而Celery調度的是任務.
Celery調度任務時，需要傳遞參數信息，傳輸載體可以選擇rabbitmq.
利用rabbitmq的持久化和ack特性，Celery可以保證任務的可靠性.

優點:

輕松構建分布式的Service Provider,提供服務。
高可擴展性，增加worker也就是增加了隊列的consumer。
可靠性，利用消息隊列的durable和ack，可以盡可能降低消息丟失的概率，當worker崩潰后，未處理的消息會重新進入消費隊列。
用戶友好，利用flower提供的管理工具可以輕松的管理worker。

flower
使用tornado-celery,結合tornado異步非阻塞結構，可以提高吞吐量，輕松創建分布式服務框架。
學習成本低，可快速入門

快速入門
定義一個celery實例main.py：

from celery import Celery
app = Celery('route_check', include=['check_worker_path'], 
        broker='amqp://user:password@rabbitmq_host:port//')
app.config_from_object('celeryconfig')

include指的是需要celery掃描是否有任務定義的模塊路徑。例如add_task 就是掃描add_task.py中的任務

celery的配置文件可以從文件、模塊中讀取，這里是從模塊中讀取，celeryconfig.py為：

from multiprocessing import cpu_count

from celery import platforms
from kombu import Exchange, Queue

CELERYD_POOL_RESTARTS = False
CELERY_RESULT_BACKEND = 'redis://:password@redis_host:port/db'
CELERY_QUEUES = (
    Queue('default', Exchange('default'), routing_key='default'),
    Queue('common_check', Exchange('route_check'), routing_key='common_check'),
    Queue('route_check', Exchange('route_check'), routing_key='route_check', delivery_mode=2),
    Queue('route_check_ignore_result', Exchange('route_check'), routing_key='route_check_ignore_result',
          delivery_mode=2)
)
CELERY_ROUTES = {
    'route_check_task.check_worker.common_check': {'queue': 'common_check'},
    'route_check_task.check_worker.check': {'queue': 'route_check'},
    'route_check_task.check_worker.check_ignore_result': {'queue': 'route_check_ignore_result'}
}
CELERY_DEFAULT_QUEUE = 'default'
CELERY_DEFAULT_EXCHANGE = 'default'
CELERY_DEFAULT_EXCHANGE_TYPE = 'direct'
CELERY_DEFAULT_ROUTING_KEY = 'default'
# CELERY_MESSAGE_COMPRESSION = 'gzip'
CELERY_ACKS_LATE = True
CELERYD_PREFETCH_MULTIPLIER = 1
CELERY_DISABLE_RATE_LIMITS = True
CELERY_TIMEZONE = 'Asia/Shanghai'
CELERY_ENABLE_UTC = True
CELERYD_CONCURRENCY = cpu_count() / 2
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_TASK_PUBLISH_RETRY = True
CELERY_TASK_PUBLISH_RETRY_POLICY = {
    'max_retries': 3,
    'interval_start': 10,
    'interval_step': 5,
    'interval_max': 20
}
platforms.C_FORCE_ROOT = True

這里面是一些celery的配置參數。

在上面include的add_task.py定義如下：

#encoding:utf8

from main import app

@app.task
def add(x,y):
    return x+y

啟動celery
celery -A main worker -l info -Ofair

-A 后面是包含celery定義的模塊,我們在main.py中定義了app = Celery...
測試celery:
-l 日志打印的級別，這里是info
-Ofair 這個參數可以讓Celery更好的調度任務

# encoding:utf8
__author__ = 'brianyang'

import add_task

result = add_task.add.apply_async((1,2))
print type(result)
print result.ready()
print result.get()
print result.ready()

輸出是

<class 'celery.result.AsyncResult'>
False
3
True

當調用result.get()時，如果還沒有返回結果，將會阻塞直到結果返回。這里需要注意的是，如果需要返回worker執行的結果，必須在之前的config中配置CELERY_RESULT_BACKEND這個參數，一般推薦使用Redis來保存執行結果，如果不關心worker執行結果，設置CELERY_IGNORE_RESULT=True就可以了，關閉緩存結果可以提高程序的執行速度。
在上面的測試程序中，如果修改為：

# encoding:utf8
__author__ = 'brianyang'

import add_task

result = add_task.add.(1,2)
print type(result)
print result

輸出結果為:

<type 'int'>
3

相當于直接本地調用了add方法，并沒有走Celery的調度。
通過flower的dashbord可以方便的監控任務的執行情況：

task list

task detail

還可以對worker進行重啟，關閉之類的操作

taks_op

使用Celery將一個集中式的系統拆分為分布式的系統大概步驟就是:

根據功能將耗時的模塊拆分出來，通過注解的形式讓Celery管理
為拆分的模塊設置獨立的消息隊列
調用者導入需要的模塊或方法，使用apply_async進行異步的調用并根據需求關注結果。
根據性能需要可以添加機器或增加worker數量，方便彈性管理。

需要注意的是：

盡量為不同的task分配不同的queue,避免多個功能的請求堆積在同一個queue中。

celery -A main worker -l info -Ofair -Q add_queue啟動Celery時，可以通過參數Q加queue_name來指定該worker只接受指定queue中的tasks.這樣可以使不同的worker各司其職。

CELERY_ACKS_LATE可以讓你的Celery更加可靠，只有當worker執行完任務后，才會告訴MQ，消息被消費。

CELERY_DISABLE_RATE_LIMITS Celery可以對任務消費的速率進行限制，如果你沒有這個需求，就關閉掉它吧，有益于會加速你的程序。

tornado-celery

tornado應該是python中最有名的異步非阻塞模型的web框架，它使用的是單進程輪詢的方式處理用戶請求，通過epoll來關注文件狀態的改變，只掃描文件狀態符發生變化的FD(文件描述符)。
由于tornado是單進程輪詢模型，那么就不適合在接口請求后進行長時間的耗時操作，而是應該接收到請求后，將請求交給背后的worker去干，干完活兒后在通過修改FD告訴tornado我干完了，結果拿走吧。很明顯，Celery與tornado很般配，而tornado-celery是celery官方推薦的結合兩者的一個模塊。
整合兩者很容易，首先需要安裝:

tornado-celery
tornado-redis
tornado代碼如下：

# encoding:utf8
__author__ = 'brianyang'

import tcelery
import tornado.gen
import tornado.web

from main import app
import add_task

tcelery.setup_nonblocking_producer(celery_app=app)


class CheckHandler(tornado.web.RequestHandler):
    @tornado.web.asynchronous
    @tornado.gen.coroutine
    def get(self):
        x = int(self.get_argument('x', '0'))
        y = int(self.get_argument('y', '0'))
        response = yield tornado.gen.Task(add_task.add.apply_async, args=[x, y])
        self.write({'results': response.result})
        self.finish


application = tornado.web.Application([
    (r"/add", CheckHandler),
])

if __name__ == "__main__":
    application.listen(8889)
    tornado.ioloop.IOLoop.instance().start()

在瀏覽器輸入：http://127.0.0.1:8889/add?x=1&y=2
結果為：

通過tornado+Celery可以顯著的提高系統的吞吐量。

Benchmark

使用Jmeter進行壓測，60個進程不間斷地的訪問服務器：
接口單獨訪問響應時間一般在200~400ms

uwsgi + Flask方案：
uwsgi關鍵配置：

processes       = 10
threads         = 3

Flask負責接受并處理請求，壓測結果：
qps是46,吞吐量大概是2700/min

uwsgi+Flask

tornado+Celery方案:
Celery配置：
CELERYD_CONCURRENCY = 10也就是10個worker(進程),壓測結果：
qps是139,吞吐量大概是8300/min

tornado+Celery

從吞吐量和接口相應時間各方面來看，使用tornado+Celery都能帶來更好的性能。

Supervisor

什么是supervisor
supervisor俗稱Linux后臺進程管理器
適合場景
-- 需要長期運行程序，除了nohup，我們有更好的supervisor
-- 程序意外掛掉，需要重啟，讓supervisor來幫忙
-- 遠程管理程序，不想登陸服務器，來來來，supervisor提供了高大上的web操作界面.
之前啟動Celery命令是celery -A main worker -l info -Ofair -Q common_check,當你有10臺機器的時候，每次更新代碼后，都需要登陸服務器，然后更新代碼，最后再殺掉Celery進程重啟，惡不惡心，簡直惡心死了。
讓supervisor來，首先需要安裝：
pip install supervisor
配置文件示例:

[unix_http_server]
file=/tmp/supervisor.sock   ; path to your socket file
chmod=0777
username=admin
password=admin

[inet_http_server]
port=0.0.0.0:2345
username=admin
password=admin

[supervisord]
logfile=/var/log/supervisord.log ; supervisord log file
logfile_maxbytes=50MB       ; maximum size of logfile before rotation
logfile_backups=10          ; number of backed up logfiles
loglevel=info               ; info, debug, warn, trace
pidfile=/var/run/supervisord.pid ; pidfile location
nodaemon=false              ; run supervisord as a daemon
minfds=1024                 ; number of startup file descriptors
minprocs=200                ; number of process descriptors
user=root                   ; default user
childlogdir=/var/log/            ; where child log files will live

[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ; use unix:// schem for a unix sockets.
username=admin
password=admin
[program:celery]
command=celery -A main worker -l info -Ofair

directory=/home/q/celeryTest
user=root
numprocs=1
stdout_logfile=/var/log/worker.log
stderr_logfile=/var/log/worker.log
autostart=true
autorestart=true
startsecs=10

; Need to wait for currently executing tasks to finish at shutdown.
; Increase this if you have very long running tasks.
stopwaitsecs = 10

; When resorting to send SIGKILL to the program to terminate it
; send SIGKILL to its whole process group instead,
; taking care of its children as well.
killasgroup=true

; Set Celery priority higher than default (999)
; so, if rabbitmq is supervised, it will start first.
priority=1000

示例文件很長，不要怕，只需要復制下來，改改就可以
比較關鍵的幾個地方是：

[inet_http_server]
port=0.0.0.0:2345
username=admin
password=admin

這個可以讓你通過訪問http://yourhost:2345 ，驗證輸入admin/admin的方式遠程管理supervisor,效果如下：

remote supervisor

[program:flower]這里就是你要托管給supervisor的程序的一些配置,其中autorestart=true可以在程序崩潰時自動重啟進程，不信你用kill試試看。
剩下的部分就是一些日志位置的設置，當前工作目錄設置等，so esay~

supervisor優點：

管理進程簡單，再也不用nohup & kill了。
再也不用擔心程序掛掉了
web管理很方便

缺點：

web管理雖然方便，但是每個頁面只能管理本機的supervisor,如果我有一百臺機器，那就需要打開100個管理頁面，太麻煩了.

怎么辦～

supervisor-easy閃亮登場

通過rpc調用獲取配置中的每一個supervisor程序的狀態并進行管理，可以分組，分機器進行批量/單個的管理。方便的不要不要的。來兩張截圖：

分組管理：

group
分機器管理:

server

通過簡單的配置，可以方便的進行管理。

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

Celery,Tornado,Supervisor構建和諧的分布式系統

Celery,Tornado,Supervisor構建和諧的分布式系統

Celery 分布式的任務隊列

與rabbitmq消息隊列的區別與聯系：

優點:

tornado-celery

Benchmark

Supervisor

supervisor-easy閃亮登場

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

Celery,Tornado,Supervisor構建和諧的分布式系統

Celery 分布式的任務隊列

與rabbitmq消息隊列的區別與聯系：

優點:

tornado-celery

Benchmark

Supervisor

supervisor-easy閃亮登場

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频