線程池之ThreadPoolExecutor執行原理

分析ThreadPoolExecutor的執行原理,直接從execute方法開始
    public void execute(Runnable command) {
        if (command == null)
            throw new NullPointerException();
        int c = ctl.get();
        // 1、工作線程 < 核心線程 
        if (workerCountOf(c) < corePoolSize) {
            if (addWorker(command, true))
                return;
            c = ctl.get();
        }
        // 2、運行態,并嘗試將任務加入隊列
        if (isRunning(c) && workQueue.offer(command)) {
            int recheck = ctl.get();
            if (! isRunning(recheck) && remove(command))
                reject(command);
            else if (workerCountOf(recheck) == 0)
                addWorker(null, false);
        } // 3、使用嘗試使用最大線程運行
        else if (!addWorker(command, false))
            reject(command);
    }

這三處if判斷,還是比較泛的,整體大框框上的流程,可用下圖表示。

線程任務處理流程.png

在execute方法中,用到了double-check的思想,我們看到上述代碼中并沒有同步控制,都是基于樂觀的check,如果任務可以創建則進入addWorker(Runnable firstTask, boolean core)方法,注意上述代碼中的三種傳參方式:

  • addWorker(command, true): 創建核心線程執行任務;
  • addWorker(command, false):創建非核心線程執行任務;
  • addWorker(null, false): 創建非核心線程,當前任務為空;

addWorker的返回值是boolean,不保證操作成功。下面詳看addWorker方法(代碼稍微有點長):

private boolean addWorker(Runnable firstTask, boolean core) {
    // 第一部分:自旋、CAS、重讀ctl 等結合,直到確定是否可以創建worker,
    // 可以則跳出循環繼續操作,否則返回false
    retry:
    for (;;) {
        int c = ctl.get();
        int rs = runStateOf(c);

        // Check if queue empty only if necessary.
        if (rs >= SHUTDOWN &&
            ! (rs == SHUTDOWN &&
               firstTask == null &&
               ! workQueue.isEmpty()))
            return false;

        for (;;) {
            int wc = workerCountOf(c);
            if (wc >= CAPACITY ||
                wc >= (core ? corePoolSize : maximumPoolSize))
                return false;
            if (compareAndIncrementWorkerCount(c)) // CAS增長workerCount,成功則跳出循環
                break retry;
            c = ctl.get();  // Re-read ctl 重新獲取ctl
            if (runStateOf(c) != rs) // 狀態改變則繼續外層循環,否則在內層循環
                continue retry;
            // else CAS failed due to workerCount change; retry inner loop
        }
    }
    // 第二部分:創建worker,這部分使用ReentrantLock鎖
    boolean workerStarted = false; // 線程啟動標志位
    boolean workerAdded = false;  // 線程是否加入workers 標志位
    Worker w = null;
    try {
        w = new Worker(firstTask); //創建worker
        final Thread t = w.thread;
        if (t != null) {
            final ReentrantLock mainLock = this.mainLock;
            mainLock.lock();
            try {
                // 獲取到鎖以后仍需檢查ctl,可能在上一個獲取到鎖處理的線程可能會改變runState
                // 如 ThreadFactory 創建失敗 或線程池被 shut down等
                int rs = runStateOf(ctl.get());

                if (rs < SHUTDOWN ||
                    (rs == SHUTDOWN && firstTask == null)) {
                    if (t.isAlive())
                        throw new IllegalThreadStateException();
                    workers.add(w);
                    int s = workers.size();
                    if (s > largestPoolSize)
                        largestPoolSize = s;
                    workerAdded = true;
                }
            } finally {
                mainLock.unlock();
            }
            if (workerAdded) {
                t.start(); // 啟動線程
                workerStarted = true;
            }
        }
    } finally {
        if (! workerStarted)
            addWorkerFailed(w); // 失敗操作
    }
    return workerStarted;
}

addWorker的工作可分為兩個部分:

  • 第一部分:原子操作,判斷是否可以創建worker。通過自旋、CAS、ctl 等操作,判斷繼續創建還是返回false,自旋周期一般很短。
  • 第二部分:同步創建workder,并啟動線程。

第一部分思路理清楚,就可以理解了。下面詳解第二部分的Worker:

Worker類圖

Worker是ThreadPoolExecutor的內部類,實現了 AbstractQueuedSynchronizer 并繼承了 Runnable。

private final class Worker extends AbstractQueuedSynchronizer implements Runnable
{
    private static final long serialVersionUID = 6138294804551838833L;

    /** 每個worker有自己的內部線程,ThreadFactory創建失敗時是null */
    final Thread thread;
    /** 初始化任務,可能是null */
    Runnable firstTask;
    /** 每個worker的完成任務數 */
    volatile long completedTasks;

    Worker(Runnable firstTask) {
        setState(-1); // 禁止線程在啟動前被打斷
        this.firstTask = firstTask;
        this.thread = getThreadFactory().newThread(this);
    }

    /** 重要的執行方法  */
    public void run() {
        runWorker(this);
    }

    // state = 0 代表未鎖;state = 1 代表已鎖

    protected boolean isHeldExclusively() {
        return getState() != 0;
    }

    protected boolean tryAcquire(int unused) {
        if (compareAndSetState(0, 1)) {
            setExclusiveOwnerThread(Thread.currentThread());
            return true;
        }
        return false;
    }

    protected boolean tryRelease(int unused) {
        setExclusiveOwnerThread(null);
        setState(0);
        return true;
    }

    public void lock()        { acquire(1); }
    public boolean tryLock()  { return tryAcquire(1); }
    public void unlock()      { release(1); }
    public boolean isLocked() { return isHeldExclusively(); }
    // interrupt已啟動線程
    void interruptIfStarted() {
        Thread t;
        // 初始化是 state = -1,不會被interrupt
        if (getState() >= 0 && (t = thread) != null && !t.isInterrupted()) {
            try {
                t.interrupt();
            } catch (SecurityException ignore) {
            }
        }
    }
}

Worker 實現了簡單的 非重入互斥鎖,互斥容易理解,非重入是為了避免線程池的一些控制方法獲得重入鎖,比如setCorePoolSize操作。注意 Worker 實現鎖的目的與傳統鎖的意義不太一樣。其主要是為了控制線程是否可interrupt,以及其他的監控,如線程是否 active(正在執行任務)。

線程池里線程是否處于運行狀態與普通線程不一樣,普通線程可以調用 Thread.currentThread().isAlive() 方法來判斷,而線程池,在run方法中可能在等待獲取新任務,這期間線程線程是 alive 但是卻不是 active。

runWorker代碼如下:

final void runWorker(Worker w) {
        Thread wt = Thread.currentThread();
        Runnable task = w.firstTask;
        w.firstTask = null;
        w.unlock(); // 允許被 interrupt
        boolean completedAbruptly = true;
        try {
            // loop 直至 task = null (線程池關閉、超時等)
            // 注意這里的getTask()方法,我們配置的阻塞隊列會在這里起作用
            while (task != null || (task = getTask()) != null) {
                w.lock();  // 執行任務前上鎖
                // 如果線程池停止,確保線程中斷; 如果沒有,確保線程不中斷。這需要在第二種情況下進行重新獲取ctl,以便在清除中斷時處理shutdownNow競爭
                if ((runStateAtLeast(ctl.get(), STOP) ||
                     (Thread.interrupted() &&
                      runStateAtLeast(ctl.get(), STOP))) &&
                    !wt.isInterrupted())
                    wt.interrupt();
                try {
                    beforeExecute(wt, task); // 擴展點
                    Throwable thrown = null;
                    try {
                        task.run(); // 真正執行run方法
                    } catch (RuntimeException x) {
                        thrown = x; throw x;
                    } catch (Error x) {
                        thrown = x; throw x;
                    } catch (Throwable x) {
                        thrown = x; throw new Error(x);
                    } finally {
                        afterExecute(task, thrown); // 擴展點
                    }
                } finally {
                    task = null;
                    w.completedTasks++;
                    w.unlock();
                }
            }
            completedAbruptly = false;
        } finally {
            processWorkerExit(w, completedAbruptly); // 線程退出工作
        }
    }

runWorker的主要任務就是一直loop循環,來一個任務處理一個任務,沒有任務就去getTask(),getTask()可能會阻塞,代碼如下:

private Runnable getTask() {
    boolean timedOut = false; // 上一次 poll() 是否超時

    for (;;) {
        int c = ctl.get();
        int rs = runStateOf(c);

        // 是否繼續處理任務 可以參見上一篇的狀態控制
        if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) {
            decrementWorkerCount();
            return null;
        }

        int wc = workerCountOf(c);

        // 是否允許超時
        boolean timed = allowCoreThreadTimeOut || wc > corePoolSize;

        if ((wc > maximumPoolSize || (timed && timedOut))
            && (wc > 1 || workQueue.isEmpty())) {
            if (compareAndDecrementWorkerCount(c))
                return null;
            continue;
        }

        try {
            Runnable r = timed ?
                workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) :
                workQueue.take();
            if (r != null)
                return r;
            timedOut = true;
        } catch (InterruptedException retry) {
            timedOut = false;
        }
    }
}

getTask()方法里面主要用我們配置的workQueue來工作,其阻塞原理與超時原理基于阻塞隊列實現,這里不做詳解。

總結,ThreadPoolExecutor的執行主要圍繞Worker,Worker 實現了 AbstractQueuedSynchronizer 并繼承了 Runnable,其對鎖的妙運用,值得思考。

多線程系列目錄(不斷更新中):
線程啟動原理
線程中斷機制
多線程實現方式
FutureTask實現原理
線程池之ThreadPoolExecutor概述
線程池之ThreadPoolExecutor使用
線程池之ThreadPoolExecutor狀態控制
線程池之ThreadPoolExecutor執行原理
線程池之ScheduledThreadPoolExecutor概述
線程池之ScheduledThreadPoolExecutor調度原理
線程池的優雅關閉實踐

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容