并發編程之 Fork-Join 分而治之框架

前言

“分而治之” 一直是一個有效的處理大量數據的方法。著名的 MapReduce 也是采取了分而治之的思想。簡單來說,就是如果你要處理1000個數據,但是你并不具備處理1000個數據的能力,那么你可以只處理其中的10個,然后,分階段處理100次,將100次的結果進行合成,那就是最終想要的對原始的1000個數據的處理結果。

Fork & Join 的具體含義

Fork 一詞的原始含義是吃飯用的叉子,也有分叉的意思。在Linux 平臺中,函數 fork()用來創建子進程,使得系統進程可以多一個執行分支。在 Java 中也沿用了類似的命名方式。

而 Join() 的含義和 Thread 類的 join 類似,表示等待。也就是使用 fork() 后系統多了一個執行分支(線程),所以需要等待這個執行分支執行完畢,才有可能得到最終的結果,因此 join 就是表示等待。

在實際使用中,如果毫無顧忌的使用 fork 開啟線程進行處理,那么很有可能導致系統開啟過多的線程而嚴重影響性能。所以,在JDK中,給出一個 ForkJoinPool 線程池,對于 fork() 方法并不急著開啟線程,而是提交給 ForkJoiinPool 線程池進行處理,以節省系統資源。

由于線程池的優化,提交的任務和線程數量并不是一對一的關系。在絕大多數情況下,一個物理線程實際上是需要處理多個邏輯任務的。因此,每個線程必然需要擁有一個任務隊列。因此,在實際執行過程中,可能遇到這么一種情況:線程A已經把自己的任務都處理完了,而線程B還有一堆任務等著處理,此時,線程A就會“幫助” 線程B,從線程 B的任務隊列中拿一個任務來處理,盡可能的達到平衡。值得注意的是:當線程試圖幫助別人時,總是從任務隊列的底部開始拿數據,而線程試圖執行自己的任務時,則從相反的頂部開始拿。因此這種行為也十分有利于避免數據競爭。

我們看看線程池 ForkJoinPool 的一個接口:

    /**
     * Submits a ForkJoinTask for execution.
     *
     * @param task the task to submit
     * @param <T> the type of the task's result
     * @return the task
     * @throws NullPointerException if the task is null
     * @throws RejectedExecutionException if the task cannot be
     *         scheduled for execution
     */
    public <T> ForkJoinTask<T> submit(ForkJoinTask<T> task) {
        if (task == null)
            throw new NullPointerException();
        externalPush(task);
        return task;
    }

你可以向 ForkJoinPool 線程池提交一個 ForkJoinTask 任務。所謂 ForkJoinTask 任務就是支持 fork () 分解以及 join()等待的任務。 ForkJoinTask 有兩個重要的子類,RecursiveAction 和 RecursiveTask。他們粉筆表示沒有返回值的任務和可以攜帶返回值的任務。有點像 Rannable 和 Callable。

下面來要給簡單的例子展示 Fork/Join 框架的使用。這里用來計算求和。

/**
 *  Fork/Join 核心思想:分而治之
 *
 * 著名的 MapReduce 也是這個思想。將任務進行分解,然后合并所有的結果。
 *
 */
public class CountTask extends RecursiveTask<Long> {

  /**
   * 閥值
   */
  static final int THRESHOLD = 10000;
  long start;
  long end;

  public CountTask(long start, long end) {
    this.start = start;
    this.end = end;
  }

  /**
   * 有返回值的
   * @return
   */
  @Override
  protected Long compute() {

    long sum = 0;
    // 當閥值小于10000則不分解了
    boolean canCompute = (end - start) < THRESHOLD;
    if (canCompute) {
      for (long i = start; i <= end; i++) {
        sum += i;
      }
    } else {
      // 2000
      long step = (start + end) / 100;
      ArrayList<CountTask> subTasks = new ArrayList<>();
      long pos = start;
      for (int i = 0; i < 100; i++) {
        long lastOne = pos + step;
        if (lastOne > end) {
          lastOne = end;
        }
        //0-2000 個計算任務 * 100
        CountTask subTask = new CountTask(pos, lastOne);
        pos += step + 1;
        subTasks.add(subTask);
        subTask.fork();// fork
      }

      for (CountTask t : subTasks) {
        sum += t.join();
      }
    }
    return sum;

  }

  public static void main(String[] args) {

    ForkJoinPool forkJoinPool = new ForkJoinPool();
    CountTask task = new CountTask(0, 200000L);
    // 將一個大的任務提交到池中
    ForkJoinTask<Long> result = forkJoinPool.submit(task);
    long res = 0;
    try {
      // 等待運算結果
      res = result.get();
      System.out.println("sum = " + res);
    } catch (InterruptedException | ExecutionException e) {
      e.printStackTrace();
    }

  }
}

由于計算求和必須需要返回值,因此我們選擇了 RecursiveTask 作為任務的模型。首先我們構造了一個大任務,提交給線程池,線程池會返回一個攜帶結果的任務,通過 get 方法可以得到最終結果。如果執行 get 方法時任務沒有結束,那么主線程就會在 get 方法等待。

再看看 CountTask 的實現,首先 CountTask 繼承自 RecursiveTask ,可以攜帶返回值,這里的返回值類型設置為 long,定義一個 THRESHOLD 設置了任務分解的規模,也就是如果需要求和的總數大于 THRESHOLD 個,那么任務就需要再次分解,否則就直接執行。 每次分解時,簡單的將原有任務劃分成100個規模相等的小任務,并使用 fork() 提交子任務。之后,等待所有的子任務結束,并將結果再次求和。

再使用 ForkJoin的時候注意:如果任務的劃分層次很深,一直得不到返回,那么可能出現兩種情況: 第一,系統內的線程數量越來越多,導致性能嚴重下降。第二,函數的調用層次變的很深,最終導致棧溢出。

此外,ForkJoin 線程池使用一個無鎖的棧來管理空閑線程,如果一個工作線程暫時取不到可用的任務,則可能會被掛起,掛起的線程將會被壓入由線程池維護的棧中,待將來有任務可用時,再從棧中喚醒這些線程。

總結

本文來源自 《Java 高并發程序設計》,沒有什么自己的見解。因為使用場景太少了。不過還是可以看看源碼來漲漲姿勢的。嘿嘿。

good luck !!!!

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,106評論 6 542
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,441評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,211評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,736評論 1 317
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,475評論 6 412
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,834評論 1 328
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,829評論 3 446
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,009評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,559評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,306評論 3 358
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,516評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,038評論 5 363
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,728評論 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,132評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,443評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,249評論 3 399
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,484評論 2 379

推薦閱讀更多精彩內容