MapReduce設計模式--元模式

一、含義

元模式不是用于解決某個具體問題的,而是處理模式之間關系的,可以理解為“模式的模式”。

二、實現方法

元模式主要有二種實現方法:作業鏈、作業歸并。
? ? 作業鏈:該方法是將多種模式結合起來以解決復雜的、多級的問題。作業鏈是眾多比較難處理的過程中的一種,因為它并不是大多數MapReduce框架中包含的特性,MapReduce可以很好的處理單個MapReduce作業,但在處理多級作業時則需要加入許多手工編碼,而且在操作上還需要考慮作業的各個階段如何處理任務失敗以及清理中間結果輸出的問題。
? ? 作業歸并:該方法是針對同一個MapReduce作業中執行多個分析任務這類作業進行優化,已達到一石多鳥的目的。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • 一:概要模式1:簡介概要設計模式更接近簡單的MR應用,因為基于鍵將數據分組是MR范型的核心功能,所有的鍵將被分組匯...
    Albert陳凱閱讀 1,887評論 0 0
  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 173,349評論 25 708
  • 每個人都有過焦慮的經歷,焦慮考試、焦慮工作、焦慮減肥、焦慮單身。 我們經常說很焦慮,仿佛焦慮是個可怕的洪水猛獸。其...
    齊漾閱讀 188評論 0 8
  • 看見這個標題就知道最近讀書少的可憐……今天終于有大塊的時間讀書了,好幸福! 今天讀了精要主義的第一步 探索,共5個...
    MissingbyLy閱讀 143評論 0 0
  • 今天給大家介紹一個時間管理方法,在今天的每日一問里,桃總問大家,有沒有過“夢想很飽滿,現實很骨感”的經歷,島國的居...
    情感后花園閱讀 483評論 6 7