Java多線程之線程池

線程池的優勢:

Thread pools address two different problems: they usually provide improved performance when executing large numbers of asynchronous tasks,due to reduced per-task invocation overhead,and they provide a means of bounding and managing the resources, including threads, consumed when executing a collection of tasks.

線程池主要解決了兩個方面的問題:

  • 在執行大量異步任務時,線程池由于減少每次任務調用開銷而提高了性能.
  • 在執行大量任務時,線程池提供了可限制和管理資源(比如線程的消耗)的方法.

線程池的創建:

可以通過ThreadPoolExecutor構造函數來創建一個線程池:


    public ThreadPoolExecutor(int corePoolSize,
                                  int maximumPoolSize,
                                  long keepAliveTime,
                                  TimeUnit unit,
                                  BlockingQueue<Runnable> workQueue,
                                  ThreadFactory threadFactory,
                                  RejectedExecutionHandler handler)

創建一個線程池需要輸入幾個參數:

  • corePoolSize(核心線程數):,當提交一個任務到線程池時,線程池會創建一個線程來執行任務,即使其他空閑的基本線程能夠執行新任務也會創建線程,等需要執行的任務數大于線程池的基本大小時就不會創建. 如果任務數大于corePoolSize,小于maximumPoolSize時,線程也僅僅在隊列滿了的情況下才會創建.

  • maximumPoolSize(線程池最大大小):線程池允許創建的最大線程數。如果隊列滿了,并且已創建的線程數小于最大線程數,則線程池會再創建新的線程執行任務。值得注意的是如果使用了無界的任務隊列這個參數就沒什么效果。

  • keepAliveTime線程活動保持時間):線程池的工作線程空閑后,保持存活的時間。所以如果任務很多,并且每個任務執行的時間比較短,可以調大這個時間,提高線程的利用率。

  • TimeUnit線程活動保持時間的單位):可選的單位有天(DAYS),小時(HOURS),分鐘(MINUTES),毫秒(MILLISECONDS),微秒(MICROSECONDS, 千分之一毫秒)和毫微秒(NANOSECONDS, 千分之一微秒)。

  • BlockingQueue<Runnable>任務隊列):用于保存等待執行的任務的阻塞隊列。

    • ArrayBlockingQueue:是一個基于數組結構的有界阻塞隊列(bounded queue),此隊列按 FIFO(先進先出)原則對元素進行排序。
    • LinkedBlockingQueue:一個基于鏈表結構的阻塞隊列(unbounded queue),此隊列按FIFO (先進先出) 排序元素,吞吐量通常要高于ArrayBlockingQueue。靜態工廠方法Executors.newFixedThreadPool()使用了這個隊列。
    • SynchronousQueue:一個不存儲元素的阻塞隊列(handsoff)。每個插入操作必須等到另一個線程調用移除操作,否則插入操作一直處于阻塞狀態,吞吐量通常要高于LinkedBlockingQueue,靜態工廠方法Executors.newCachedThreadPool使用了這個隊列。
    • PriorityBlockingQueue:一個具有優先級的無界阻塞隊列。
  • ThreadFactory(線程工廠):用于設置創建線程的工廠,可以通過線程工廠給每個創建出來的線程設置更有意義的名字.

  • RejectedExecutionHandler飽和策略):當隊列和線程池都滿了,說明線程池處于飽和狀態,那么必須采取一種策略處理提交的新任務。這個策略默認情況下是AbortPolicy,表示無法處理新任務時拋出異常。以下是JDK1.5提供的四種策略。

    • AbortPolicy:直接拋出異常。
    • CallerRunsPolicy:只用調用者所在線程來運行任務。
    • DiscardOldestPolicy:丟棄隊列里最近的一個任務,并執行當前任務。
    • DiscardPolicy:不處理,丟棄掉。
    • 當然也可以根據應用場景需要來實現RejectedExecutionHandler接口自定義策略。如記錄日志或持久化不能處理的任務。

向線程池提交任務:

  • public void execute(Runnable command): 執行一個Runnable任務,沒有返回值,無法判斷線程池執行是否成功,主要分三步:

    • 活動線程小于corePoolSize的時候就創建新線程池
    • 活動線程大于corePoolSize時就想加入到任務隊列中
    • 任務隊列滿了再去啟動新線程,如果線程數達到最大值就拒絕任務.
    
        public void execute(Runnable command) {
            if (command == null)
                throw new NullPointerException();
        
            int c = ctl.get();
            // 活動線程數 < corePoolSize
            if (workerCountOf(c) < corePoolSize) {
                // 直接啟動新的線程。第二個參數true:addWorker中會重新檢查workerCount是否小于corePoolSize
                if (addWorker(command, true))
                    // 添加成功返回
                    return;
                c = ctl.get();
            }
            // 活動線程數 >= corePoolSize
            // runState為RUNNING && 隊列未滿
            if (isRunning(c) && workQueue.offer(command)) {
                int recheck = ctl.get();
                // double check
                // 非RUNNING狀態 則從workQueue中移除任務并拒絕
                if (!isRunning(recheck) && remove(command))
                    reject(command);// 采用線程池指定的策略拒絕任務
                // 線程池處于RUNNING狀態 || 線程池處于非RUNNING狀態但是任務移除失敗
                else if (workerCountOf(recheck) == 0)
                    // 這行代碼是為了SHUTDOWN狀態下沒有活動線程了,但是隊列里還有任務沒執行這種特殊情況。
                    // 添加一個null任務是因為SHUTDOWN狀態下,線程池不再接受新任務
                    addWorker(null, false);
        
                // 兩種情況:
                // 1.非RUNNING狀態拒絕新的任務
                // 2.隊列滿了啟動新的線程失敗(workCount > maximumPoolSize)
            } else if (!addWorker(command, false))
                reject(command);
        }
    
    
  • <T> Future<T> submit(Callable<T> task):

    ****執行一個Runnable或者一個Callable任務,返回一個Future來判斷任務否執行成功,通過{@Link Funtrure#get()}獲取執行的結果,get()方法會阻塞直到任務完成或者失敗.

    
        Future<Object> future = executor.submit(harReturnValuetask);
        try {
             Object s = future.get();
        } catch (InterruptedException e) {
            // 處理中斷異常
        } catch (ExecutionException e) {
            // 處理無法執行任務異常
        } finally {
            // 關閉線程池
            executor.shutdown();
        }
    
    

線程池的關閉

  • shutdown() 會將runState設置為SHUTDOWN,會終止所有的空閑線程.

    public void shutdown() {
        final ReentrantLock mainLock = this.mainLock;
        mainLock.lock();
        try {
            checkShutdownAccess();
            //將線程池狀態設置為SHUTDOWN
            advanceRunState(SHUTDOWN);
            //注意這里是中斷所有空閑的線程:runWorker中等待的線程被中斷 → 進入processWorkerExit →
            // tryTerminate方法中會保證隊列中剩余的任務得到執行。
            interruptIdleWorkers();
            onShutdown(); // hook for ScheduledThreadPoolExecutor
        } finally {
            mainLock.unlock();
        }
        tryTerminate();
    }

  • shutdownNow()將runState設置為STOP,和shutdown()區別是這個方法終止所有線程.

    public List<Runnable> shutdownNow() {
        List<Runnable> tasks;
        final ReentrantLock mainLock = this.mainLock;
        mainLock.lock();
        try {
            checkShutdownAccess();
            // STOP狀態:不再接受新任務且不再執行隊列中的任務。
            advanceRunState(STOP);
            // 中斷所有線程
            interruptWorkers();
            // 返回隊列中還沒有被執行的任務。
            tasks = drainQueue();
        } finally {
            mainLock.unlock();
        }
        tryTerminate();
        return tasks;
    }

  • boolean isShutdwon()

    public boolean isShutdown() {
        //說明只要調用了shutdown()或者shutdwonNow()之一,此方法就會返回ture.
        return ! isRunning(ctl.get());
    }
    
     private static boolean isRunning(int c) {
        return c < SHUTDOWN;
    }

  • boolean isTerminated() 當所有線程都終止時此方法才返回true.

    public boolean isTerminated() {
        return runStateAtLeast(ctl.get(), TERMINATED);
    }
        
    private static boolean runStateAtLeast(int c, int s) {
        return c >= s;
    }

我們可以通過調用線程池的shutdown或shutdownNow方法來關閉線程池,它們的原理是遍歷線程池中的工作線程,然后逐個調用線程的interrupt方法來中斷線程,所以無法響應中斷的任務可能永遠無法終止。但是它們存在一定的區別,shutdownNow首先將線程池的狀態設置成STOP,然后嘗試停止所有的正在執行或暫停任務的線程,并返回等待執行任務的列表,而shutdown只是將線程池的狀態設置成SHUTDOWN狀態,然后中斷所有沒有正在執行任務的線程。

只要調用了這兩個關閉方法的其中一個,isShutdown方法就會返回true。當所有的任務都已關閉后,才表示線程池關閉成功,這時調用isTerminaed方法會返回true。至于我們應該調用哪一種方法來關閉線程池,應該由提交到線程池的任務特性決定,通常調用shutdown來關閉線程池,如果任務不一定要執行完,則可以調用shutdownNow。

AtomicInteger ctl

private final AtomicInteger ctl = new AtomicInteger(ctlOf(RUNNING, 0));

AtomicInteger保證了對這個變量的操作是原子的,通過巧妙的操作,ThreadPoolExecutor用這一個變量保存了兩個內容:

  • 所有有效線程的數量
  • 各個線程的狀態(runState)

低29位存線程數,高3位存runState,這樣runState有5個值:


    private static final int COUNT_BITS = Integer.SIZE - 3;
    private static final int CAPACITY   = (1 << COUNT_BITS) - 1;

    private static final int RUNNING    = -1 << COUNT_BITS;
    private static final int SHUTDOWN   =  0 << COUNT_BITS;
    private static final int STOP       =  1 << COUNT_BITS;
    private static final int TIDYING    =  2 << COUNT_BITS;
    private static final int TERMINATED =  3 << COUNT_BITS;

線程池中各個狀態間的轉換比較復雜:

  • RUNNING狀態:線程池正常運行,可以接受新的任務并處理隊列中的任務;
  • SHUTDOWN狀態:不再接受新的任務,但是會執行隊列中的任務;
  • STOP狀態:不再接受新任務,不處理隊列中的任務

圍繞ctl變量操作如下:

    
    /*
     * 該方法用于取出runstate的值,因為CAPACTIY值為:00011111111111111111111111111111
     * ~為按位取反操作,則~CAPACITY值為:11100000000000000000000000000000
     * 再同參數做&操作,就將低29位置0了,而高3位還是保持原先的值,也就是runState的值
     * /
    private static int runStateOf(int c) { 
        return c & ~CAPACITY; 
    }
    
    /**
     * 這個方法用于取出workerCount的值
     * 因為CAPACITY值為:00011111111111111111111111111111,所以&操作將參數的高3位置0了
     * 保留參數的低29位,也就是workerCount的值
     * 
     * @param c ctl, 存儲runState和workerCount的int值
     * @return workerCount的值
     */
    private static int workerCountOf(int c)  {
         return c & CAPACITY;
     }
    
    /**
     * 將runState和workerCount存到同一個int中
     * “|”運算的意思是,假設rs的值是101000,wc的值是000111,則他們位或運算的值為101111
     * 
     * @param rs runState移位過后的值,負責填充返回值的高3位
     * @param wc workerCount移位過后的值,負責填充返回值的低29位
     * @return 兩者或運算過后的值
     */
    private static int ctlOf(int rs, int wc) {
         return rs | wc; 
    }

    // 只有RUNNING狀態會小于0
    private static boolean isRunning(int c) {
        return c < SHUTDOWN;
    }

線程池配置策略:

要想合理的配置線程池,就必須首先分析任務特性,可以從以下幾個角度來進行分析:

  1. 任務的性質:CPU密集型任務,IO密集型任務和混合型任務。
  2. 任務的優先級:高,中和低。
  3. 任務的執行時間:長,中和短。
  4. 任務的依賴性:是否依賴其他系統資源,如數據庫連接。

任務性質不同的任務可以用不同規模的線程池分開處理。CPU密集型任務配置盡可能小的線程,如配置Ncpu+1個線程的線程池。IO密集型任務則由于線程并不是一直在執行任務,則配置盡可能多的線程,如2*Ncpu。混合型的任務,如果可以拆分,則將其拆分成一個CPU密集型任務和一個IO密集型任務,只要這兩個任務執行的時間相差不是太大,那么分解后執行的吞吐率要高于串行執行的吞吐率,如果這兩個任務執行時間相差太大,則沒必要進行分解。我們可以通過Runtime.getRuntime().availableProcessors()方法獲得當前設備的CPU個數。

優先級不同的任務可以使用優先級隊列PriorityBlockingQueue來處理。它可以讓優先級高的任務先得到執行,需要注意的是如果一直有優先級高的任務提交到隊列里,那么優先級低的任務可能永遠不能執行。

執行時間不同的任務可以交給不同規模的線程池來處理,或者也可以使用優先級隊列,讓執行時間短的任務先執行。

依賴數據庫連接池的任務,因為線程提交SQL后需要等待數據庫返回結果,如果等待的時間越長CPU空閑時間就越長,那么線程數應該設置越大,這樣才能更好的利用CPU。

建議使用有界隊列,有界隊列能增加系統的穩定性和預警能力,可以根據需要設大一點,比如幾千。有一次我們組使用的后臺任務線程池的隊列和線程池全滿了,不斷的拋出拋棄任務的異常,通過排查發現是數據庫出現了問題,導致執行SQL變得非常緩慢,因為后臺任務線程池里的任務全是需要向數據庫查詢和插入數據的,所以導致線程池里的工作線程全部阻塞住,任務積壓在線程池里。如果當時我們設置成無界隊列,線程池的隊列就會越來越多,有可能會撐滿內存,導致整個系統不可用,而不只是后臺任務出現問題。當然我們的系統所有的任務是用的單獨的服務器部署的,而我們使用不同規模的線程池跑不同類型的任務,但是出現這樣問題時也會影響到其他任務

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,825評論 6 546
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,814評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事?!?“怎么了?”我有些...
    開封第一講書人閱讀 178,980評論 0 384
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 64,064評論 1 319
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,779評論 6 414
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 56,109評論 1 330
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 44,099評論 3 450
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,287評論 0 291
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,799評論 1 338
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,515評論 3 361
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,750評論 1 375
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,221評論 5 365
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,933評論 3 351
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,327評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,667評論 1 296
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,492評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,703評論 2 380

推薦閱讀更多精彩內容