分析ThreadPoolExecutor的執行原理,直接從execute
方法開始
public void execute(Runnable command) {
if (command == null)
throw new NullPointerException();
int c = ctl.get();
// 1、工作線程 < 核心線程
if (workerCountOf(c) < corePoolSize) {
if (addWorker(command, true))
return;
c = ctl.get();
}
// 2、運行態,并嘗試將任務加入隊列
if (isRunning(c) && workQueue.offer(command)) {
int recheck = ctl.get();
if (! isRunning(recheck) && remove(command))
reject(command);
else if (workerCountOf(recheck) == 0)
addWorker(null, false);
} // 3、使用嘗試使用最大線程運行
else if (!addWorker(command, false))
reject(command);
}
這三處if判斷,還是比較泛的,整體大框框上的流程,可用下圖表示。
在execute方法中,用到了double-check的思想,我們看到上述代碼中并沒有同步控制,都是基于樂觀的check,如果任務可以創建則進入addWorker(Runnable firstTask, boolean core)方法,注意上述代碼中的三種傳參方式:
- addWorker(command, true): 創建核心線程執行任務;
- addWorker(command, false):創建非核心線程執行任務;
- addWorker(null, false): 創建非核心線程,當前任務為空;
addWorker的返回值是boolean,不保證操作成功。下面詳看addWorker方法(代碼稍微有點長):
private boolean addWorker(Runnable firstTask, boolean core) {
// 第一部分:自旋、CAS、重讀ctl 等結合,直到確定是否可以創建worker,
// 可以則跳出循環繼續操作,否則返回false
retry:
for (;;) {
int c = ctl.get();
int rs = runStateOf(c);
// Check if queue empty only if necessary.
if (rs >= SHUTDOWN &&
! (rs == SHUTDOWN &&
firstTask == null &&
! workQueue.isEmpty()))
return false;
for (;;) {
int wc = workerCountOf(c);
if (wc >= CAPACITY ||
wc >= (core ? corePoolSize : maximumPoolSize))
return false;
if (compareAndIncrementWorkerCount(c)) // CAS增長workerCount,成功則跳出循環
break retry;
c = ctl.get(); // Re-read ctl 重新獲取ctl
if (runStateOf(c) != rs) // 狀態改變則繼續外層循環,否則在內層循環
continue retry;
// else CAS failed due to workerCount change; retry inner loop
}
}
// 第二部分:創建worker,這部分使用ReentrantLock鎖
boolean workerStarted = false; // 線程啟動標志位
boolean workerAdded = false; // 線程是否加入workers 標志位
Worker w = null;
try {
w = new Worker(firstTask); //創建worker
final Thread t = w.thread;
if (t != null) {
final ReentrantLock mainLock = this.mainLock;
mainLock.lock();
try {
// 獲取到鎖以后仍需檢查ctl,可能在上一個獲取到鎖處理的線程可能會改變runState
// 如 ThreadFactory 創建失敗 或線程池被 shut down等
int rs = runStateOf(ctl.get());
if (rs < SHUTDOWN ||
(rs == SHUTDOWN && firstTask == null)) {
if (t.isAlive())
throw new IllegalThreadStateException();
workers.add(w);
int s = workers.size();
if (s > largestPoolSize)
largestPoolSize = s;
workerAdded = true;
}
} finally {
mainLock.unlock();
}
if (workerAdded) {
t.start(); // 啟動線程
workerStarted = true;
}
}
} finally {
if (! workerStarted)
addWorkerFailed(w); // 失敗操作
}
return workerStarted;
}
addWorker的工作可分為兩個部分:
- 第一部分:原子操作,判斷是否可以創建worker。通過自旋、CAS、ctl 等操作,判斷繼續創建還是返回false,自旋周期一般很短。
- 第二部分:同步創建workder,并啟動線程。
第一部分思路理清楚,就可以理解了。下面詳解第二部分的Worker:
Worker是ThreadPoolExecutor的內部類,實現了 AbstractQueuedSynchronizer 并繼承了 Runnable。
private final class Worker extends AbstractQueuedSynchronizer implements Runnable
{
private static final long serialVersionUID = 6138294804551838833L;
/** 每個worker有自己的內部線程,ThreadFactory創建失敗時是null */
final Thread thread;
/** 初始化任務,可能是null */
Runnable firstTask;
/** 每個worker的完成任務數 */
volatile long completedTasks;
Worker(Runnable firstTask) {
setState(-1); // 禁止線程在啟動前被打斷
this.firstTask = firstTask;
this.thread = getThreadFactory().newThread(this);
}
/** 重要的執行方法 */
public void run() {
runWorker(this);
}
// state = 0 代表未鎖;state = 1 代表已鎖
protected boolean isHeldExclusively() {
return getState() != 0;
}
protected boolean tryAcquire(int unused) {
if (compareAndSetState(0, 1)) {
setExclusiveOwnerThread(Thread.currentThread());
return true;
}
return false;
}
protected boolean tryRelease(int unused) {
setExclusiveOwnerThread(null);
setState(0);
return true;
}
public void lock() { acquire(1); }
public boolean tryLock() { return tryAcquire(1); }
public void unlock() { release(1); }
public boolean isLocked() { return isHeldExclusively(); }
// interrupt已啟動線程
void interruptIfStarted() {
Thread t;
// 初始化是 state = -1,不會被interrupt
if (getState() >= 0 && (t = thread) != null && !t.isInterrupted()) {
try {
t.interrupt();
} catch (SecurityException ignore) {
}
}
}
}
Worker 實現了簡單的 非重入互斥鎖,互斥容易理解,非重入是為了避免線程池的一些控制方法獲得重入鎖,比如setCorePoolSize操作。注意 Worker 實現鎖的目的與傳統鎖的意義不太一樣。其主要是為了控制線程是否可interrupt,以及其他的監控,如線程是否 active(正在執行任務)。
線程池里線程是否處于運行狀態與普通線程不一樣,普通線程可以調用 Thread.currentThread().isAlive() 方法來判斷,而線程池,在run方法中可能在等待獲取新任務,這期間線程線程是 alive 但是卻不是 active。
runWorker代碼如下:
final void runWorker(Worker w) {
Thread wt = Thread.currentThread();
Runnable task = w.firstTask;
w.firstTask = null;
w.unlock(); // 允許被 interrupt
boolean completedAbruptly = true;
try {
// loop 直至 task = null (線程池關閉、超時等)
// 注意這里的getTask()方法,我們配置的阻塞隊列會在這里起作用
while (task != null || (task = getTask()) != null) {
w.lock(); // 執行任務前上鎖
// 如果線程池停止,確保線程中斷; 如果沒有,確保線程不中斷。這需要在第二種情況下進行重新獲取ctl,以便在清除中斷時處理shutdownNow競爭
if ((runStateAtLeast(ctl.get(), STOP) ||
(Thread.interrupted() &&
runStateAtLeast(ctl.get(), STOP))) &&
!wt.isInterrupted())
wt.interrupt();
try {
beforeExecute(wt, task); // 擴展點
Throwable thrown = null;
try {
task.run(); // 真正執行run方法
} catch (RuntimeException x) {
thrown = x; throw x;
} catch (Error x) {
thrown = x; throw x;
} catch (Throwable x) {
thrown = x; throw new Error(x);
} finally {
afterExecute(task, thrown); // 擴展點
}
} finally {
task = null;
w.completedTasks++;
w.unlock();
}
}
completedAbruptly = false;
} finally {
processWorkerExit(w, completedAbruptly); // 線程退出工作
}
}
runWorker的主要任務就是一直loop循環,來一個任務處理一個任務,沒有任務就去getTask(),getTask()可能會阻塞,代碼如下:
private Runnable getTask() {
boolean timedOut = false; // 上一次 poll() 是否超時
for (;;) {
int c = ctl.get();
int rs = runStateOf(c);
// 是否繼續處理任務 可以參見上一篇的狀態控制
if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) {
decrementWorkerCount();
return null;
}
int wc = workerCountOf(c);
// 是否允許超時
boolean timed = allowCoreThreadTimeOut || wc > corePoolSize;
if ((wc > maximumPoolSize || (timed && timedOut))
&& (wc > 1 || workQueue.isEmpty())) {
if (compareAndDecrementWorkerCount(c))
return null;
continue;
}
try {
Runnable r = timed ?
workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) :
workQueue.take();
if (r != null)
return r;
timedOut = true;
} catch (InterruptedException retry) {
timedOut = false;
}
}
}
getTask()方法里面主要用我們配置的workQueue來工作,其阻塞原理與超時原理基于阻塞隊列實現,這里不做詳解。
總結,ThreadPoolExecutor的執行主要圍繞Worker,Worker 實現了 AbstractQueuedSynchronizer 并繼承了 Runnable,其對鎖的妙運用,值得思考。
多線程系列目錄(不斷更新中):
線程啟動原理
線程中斷機制
多線程實現方式
FutureTask實現原理
線程池之ThreadPoolExecutor概述
線程池之ThreadPoolExecutor使用
線程池之ThreadPoolExecutor狀態控制
線程池之ThreadPoolExecutor執行原理
線程池之ScheduledThreadPoolExecutor概述
線程池之ScheduledThreadPoolExecutor調度原理
線程池的優雅關閉實踐