一、簡介
1.1 概述
XXL-JOB是一個輕量級分布式任務調度平臺，其核心設計目標是開發迅速、學習簡單、輕量級、易擴展?，F已開放源代碼并接入多家公司線上產品線，開箱即用。
1.2 特性
1、簡單：支持通過Web頁面對任務進行CRUD操作，操作簡單，一分鐘上手；
2、動態：支持動態修改任務狀態、啟動/停止任務，以及終止運行中任務，即時生效；
3、調度中心HA（中心式）：調度采用中心式設計，“調度中心”基于集群Quartz實現并支持集群部署，可保證調度中心HA；
4、執行器HA（分布式）：任務分布式執行，任務"執行器"支持集群部署，可保證任務執行HA；
5、注冊中心: 執行器會周期性自動注冊任務, 調度中心將會自動發現注冊的任務并觸發執行。同時，也支持手動錄入執行器地址；
6、彈性擴容縮容：一旦有新執行器機器上線或者下線，下次調度時將會重新分配任務；
7、路由策略：執行器集群部署時提供豐富的路由策略，包括：第一個、最后一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等；
8、故障轉移：任務路由策略選擇"故障轉移"情況下，如果執行器集群中某一臺機器故障，將會自動Failover切換到一臺正常的執行器發送調度請求。
9、阻塞處理策略：調度過于密集執行器來不及處理時的處理策略，策略包括：單機串行（默認）、丟棄后續調度、覆蓋之前調度；
10、任務超時控制：支持自定義任務超時時間，任務運行超時將會主動中斷任務；
11、任務失敗重試：支持自定義任務失敗重試次數，當任務失敗時將會按照預設的失敗重試次數主動進行重試；其中分片任務支持分片粒度的失敗重試；
12、任務失敗告警；默認提供郵件方式失敗告警，同時預留擴展接口，可方面的擴展短信、釘釘等告警方式；
13、分片廣播任務：執行器集群部署時，任務路由策略選擇"分片廣播"情況下，一次任務調度將會廣播觸發集群中所有執行器執行一次任務，可根據分片參數開發分片任務；
14、動態分片：分片廣播任務以執行器為維度進行分片，支持動態擴容執行器集群從而動態增加分片數量，協同進行業務處理；在進行大數據量業務操作時可顯著提升任務處理能力和速度。
15、事件觸發：除了"Cron方式"和"任務依賴方式"觸發任務執行之外，支持基于事件的觸發任務方式。調度中心提供觸發任務單次執行的API服務，可根據業務事件靈活觸發。
16、任務進度監控：支持實時監控任務進度；
17、Rolling實時日志：支持在線查看調度結果，并且支持以Rolling方式實時查看執行器輸出的完整的執行日志；
18、GLUE：提供Web IDE，支持在線開發任務邏輯代碼，動態發布，實時編譯生效，省略部署上線的過程。支持30個版本的歷史版本回溯。
19、腳本任務：支持以GLUE模式開發和運行腳本任務，包括Shell、Python、NodeJS、PHP、PowerShell等類型腳本;
20、命令行任務：原生提供通用命令行任務Handler（Bean任務，"CommandJobHandler"）；業務方只需要提供命令行即可；
21、任務依賴：支持配置子任務依賴，當父任務執行結束且執行成功后將會主動觸發一次子任務的執行, 多個子任務用逗號分隔；
22、一致性：“調度中心”通過DB鎖保證集群分布式調度的一致性, 一次任務調度只會觸發一次執行；
23、自定義任務參數：支持在線配置調度任務入參，即時生效；
24、調度線程池：調度系統多線程觸發調度運行，確保調度精確執行，不被堵塞；
25、數據加密：調度中心和執行器之間的通訊進行數據加密，提升調度信息安全性；
26、郵件報警：任務失敗時支持郵件報警，支持配置多郵件地址群發報警郵件；
27、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用;
28、運行報表：支持實時查看運行數據，如任務數量、調度次數、執行器數量等；以及調度報表，如調度日期分布圖，調度成功分布圖等；
29、全異步：任務調度流程全異步化設計實現，如異步調度、異步運行、異步回調等，有效對密集調度進行流量削峰，理論上支持任意時長任務的運行；
30、跨平臺：原生提供通用HTTP任務Handler（Bean任務，"HttpJobHandler"）；業務方只需要提供HTTP鏈接即可，不限制語言、平臺；
31、國際化：調度中心支持國際化設置，提供中文、英文兩種可選語言，默認為中文；
32、容器化：提供官方docker鏡像，并實時更新推送dockerhub，進一步實現產品開箱即用；
詳情鏈接：https://www.cnblogs.com/xuxueli/p/5021979.html
二、java springboot集成xxl-job實例：
環境：
JDK：1.7+
Servlet/JSP Spec：3.1/2.3
Tomcat：8.5.x/Jetty9.2.x
Spring-boot：1.5.x/Spring4.x
Mysql：5.6+
Maven：3+
步驟：
第一步到github上下載xxl-job項目
github地址:https://github.com/xuxueli/xxl-job
在工作空間中git clone https://github.com/xuxueli/xxl-job 將項目down到本地
idea打開項目查看項目和配置文件內容：
如果想使用。需要在數據庫創建xxl-job數據庫。在以下配置文件中將數據庫地址和用戶名密碼進行修改
accesstoken自定義添加
后臺部署
訪問 http://127.0.0.1:8080/xxl-job-admin/
三、項目集成
1.加入jar包依賴集成到springboot項目
<dependency>
<groupId>com.xuxueli</groupId>
<artifactId>xxl-job-core</artifactId>
<version>2.0.0</version>
</dependency>
2.springboot項目yml文件配置xxl-job配置信息
appname：在xxl-job配置的執行器的appname
accessToken：調度中心通訊TOKEN，與xxl-job-admin配置文件的token一致即可
xxl:
job:
admin:
addresses: http://127.0.0.1:8000/xxl-job-admin
executor:
appname: marketing-ads-scheduler
ip:
port: 9999
logpath: /mnt/logs/ads_scheduler
logretentiondays: 30
accessToken: 6889b70769ffb1e955ba69396f0cca6b
3.配置文件
@Configuration
@ComponentScan(basePackages = "com.rrc.marketing.adsscheduler.service.jobhandler")
public class XxlJobConfig {
@Value("${xxl.job.admin.addresses}")
private String adminAddresses;
@Value("${xxl.job.executor.appname}")
private String appName;
@Value("${xxl.job.executor.ip}")
private String ip;
@Value("${xxl.job.executor.port}")
private int port;
@Value("${xxl.job.accessToken}")
private String accessToken;
@Value("${xxl.job.executor.logpath}")
private String logPath;
@Value("${xxl.job.executor.logretentiondays}")
private int logRetentionDays;
@Bean(initMethod = "start", destroyMethod = "destroy")
public XxlJobSpringExecutor xxlJobExecutor() {
// logger.info(">>>>>>>>>>> xxl-job config init.");
XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
xxlJobSpringExecutor.setAppName(appName);
xxlJobSpringExecutor.setIp(ip);
xxlJobSpringExecutor.setPort(port);
xxlJobSpringExecutor.setAccessToken(accessToken);
xxlJobSpringExecutor.setLogPath(logPath);
xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
return xxlJobSpringExecutor;
}
}
4.使用方法
@JobHandler(value="sem_baidu_adgroup_job")
@Service
@Slf4j
public class AdgroupBaiduJobHandler extends IJobHandler {
@Override
public ReturnT<String> execute(String param) throws Exception {
ShardingUtil.ShardingVO shardingVO = ShardingUtil.getShardingVo();
int shardingTotal = shardingVO.getTotal();
int shardingIndex = shardingVO.getIndex();
int queueIndex = 1;
ConcurrentLinkedQueue<SemAccountInfoEntity> baiduAccountQueue = CacheUtil.getBaiduAccountQueue();
for(SemAccountInfoEntity semAccountInfoEntity : baiduAccountQueue){
if(shardingIndex == queueIndex % shardingTotal) {
getBaiduAdgroupType(semAccountInfoEntity);
}
queueIndex++;
}
return SUCCESS;
}
@Transactional
public void getBaiduAdgroupType(SemAccountInfoEntity semAccountInfoEntity) throws JAXBException {
log.info("調用任務");
}
5.訪問后臺管理執行任務
參考文檔：https://blog.csdn.net/Alice_qixin/article/details/84562401
