在分布式多節點系統下，或者是使用gunicorn等工具啟用多個worker的情況下，如何保證后端的定時任務、初始化任務只執行一次呢？比如使用apscheduler或者flask-apscheduler實現的定時任務。
在這種情況下必須借助外部數據庫才能實現，當然，不僅僅只能是Redis，你也可以利用當前系統下有的MySQL、或者MongoDB數據庫，只需要自定義一張表，創建一個unique字段作為鎖即可。
我這里將使用python語言，以MySQL為例，使用sqlalchemy+pymysql作為數據庫操作方式，使用裝飾器的方式對原有任務函數進行改造，以達到對分布式的支持。你可以將該方法擴散到其他語言、其他后端框架或者僅僅是定時任務后臺的情況。
一、創建帶唯一值字段的數據表
無論是redis、mysql、mongodb，要實現一個鎖的功能，作為鎖的字段必須為唯一值字段。
我這里使用了sqlalchemy創建表、指定lock_key字段unique=True，并定義了add_lock與delete_lock方法，當然你也可以手動在數據庫創建表，使用pymysql原生SQL語句實現鎖方法。
![示例結構]
- 若需要使用原生SQL語句定義表,可參照如下方式：
CREATE TABLE `task_lock` (
`id` bigint(20) NOT NULL AUTO_INCREMENT,
`lock_key` varchar(20) COLLATE utf8mb4_bin NOT NULL,
PRIMARY KEY (`id`),
UNIQUE KEY `lock_key` (`lock_key`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin
- SQLAlchemy代碼示例
sql_model.py
from sqlalchemy import MetaData, Table, Column, BigInteger, String, create_engine
from sqlalchemy import insert, delete
from sqlalchemy.exc import IntegrityError
metadata = MetaData()
engine = create_engine("mysql+pymysql://root:mypassword@127.0.0.1:3306/test?charset=utf8mb4")
# 定義唯一值字段的任務鎖表
locks = Table("taskLock", metadata,
Column("id", BigInteger(), primary_key=True, autoincrement=True),
Column("lock_key", String(50), unique=True, nullable=False, comment="任務鎖")
)
# 創建表
metadata.create_all(engine)
# 加鎖方法，bool值表示是否成功
def add_lock(lock_value):
"""添加唯一鎖"""
ins = insert(locks).values(lock_key=lock_value)
# 若當前鎖值不存在，則可以插入成功，返回True
try:
engine.connect().execute(ins)
return True
# 若當前插入鎖值已存在，則會觸發并捕獲該異常，返回False
except IntegrityError:
return False
# 刪除鎖方法，只要成功添加了鎖，任務執行后，無論成功還是失敗都必須調用刪除方法
def delete_lock(lock_value):
"""刪除鎖"""
d = delete(locks).where(locks.c.lock_key == lock_value)
engine.connect().execute(d)
二、定義單節點任務裝飾器
為什么使用裝飾器？使用裝飾器的方式對原有函數進行改造，可保留原始函數代碼不變，且復用性、可讀性更高。建議大家多多使用裝飾器哦，這里的裝飾器需要傳參，所以需要額外增加一層用來接收參數，關于裝飾器的學習，可以參考其他文檔。
decorators.py
from sql_models import add_lock, delete_lock
# 單節點任務裝飾器，被裝飾的任務在分布式多節點下同一時間只能運行一次
def single_task(task):
def wrap(func):
def inner(*args, **kwargs):
add_result = add_lock(task)
if add_result:
print("當前節點獲取任務：{}!".format(task))
try:
result = func(*args, **kwargs)
return result
except Exception as e:
raise e
finally:
delete_lock(task)
else:
print("當前節點未獲取任務：{}".format(task))
return
return inner
return wrap
該裝飾器的功能很簡單，可接收一個任務名，該任務名將用作數據庫中lock_key的唯一值寫入。在執行原函數前，會先嘗試加鎖，即寫入lock_key值，若寫入成功，則獲得鎖，可以繼續執行該任務函數；若加鎖失敗，即寫入lock_key時數據庫已存在當前值，說明其他節點正在執行該任務，則無法獲得鎖，不能執行該任務函數，只會打印提示信息。
三、裝飾需單節點運行的任務
需要被裝飾的任務一般是定時任務，或者是初始化時可能重復運行任務。
tasks.py
在這里定義了3個模擬任務task1、task2、task3，并只對task1與task3使用single_task裝飾器進行單節點運行裝飾：
import time
import random
from decorators import single_task
from apscheduler.schedulers.background import BlockingScheduler
@single_task("task1")
def task1(arg1, arg2):
print("----------------------------------------------")
print("開始執行task1")
time.sleep(random.randint(1, 5))
print("task1執行完成")
print("----------------------------------------------" + "\n")
return arg1 + arg2
def task2(arg1, arg2):
print("----------------------------------------------")
print("開始執行task2")
time.sleep(random.randint(1, 5))
print("task2執行完成")
print("----------------------------------------------" + "\n")
return arg1 * arg2
@single_task("task3")
def task3(arg1, arg2):
print("----------------------------------------------")
print("開始執行task2")
time.sleep(random.randint(1, 5))
print("task2執行完成")
print("----------------------------------------------" + "\n")
return arg1 / arg2
四、使用apscheduler開啟定時任務
tasks.py
配置定時任務：
import time
import random
from decorators import single_task
from apscheduler.schedulers.background import BlockingScheduler
@single_task("task1")
def task1(arg1, arg2):
print("----------------------------------------------")
print("開始執行task1")
time.sleep(random.randint(1, 5))
print("task1執行完成")
print("----------------------------------------------" + "\n")
return arg1 + arg2
def task2(arg1, arg2):
print("----------------------------------------------")
print("開始執行task2")
time.sleep(random.randint(1, 5))
print("task2執行完成")
print("----------------------------------------------" + "\n")
return arg1 * arg2
@single_task("task3")
def task3(arg1, arg2):
print("----------------------------------------------")
print("開始執行task2")
time.sleep(random.randint(1, 5))
print("task2執行完成")
print("----------------------------------------------" + "\n")
return arg1 / arg2
if __name__ == '__main__':
print("開始執行定時任務")
scheduler = BlockingScheduler()
scheduler.add_job(task1, args=(5, 5), trigger="interval", seconds=20)
scheduler.add_job(task2, args=(5, 5), trigger="interval", seconds=20)
scheduler.add_job(task3, args=(5, 5), trigger="interval", seconds=20)
scheduler.start()
五、任務演示
此處簡單模擬多個命令行窗口，幾乎同時運行，模擬多節點的情況：
可以發現實現了我們的設計，在兩個節點中，task1和task3只會運行一次，而未加裝飾器的task2不受限制，每個節點中都會重復運行。
多節點，比如存在寫入數據庫或者文件操作的定時任務，則設置單節點運行是非常有必要的。
總結
同理，你可以使用相同的方式，利用MongDB或其他數據庫實現單節點鎖的裝飾器，若有Redis則實現起來就更加容易和普遍了。
以上，希望文章能對你有所幫助。
