1 client端請求任務之后,與resourcemanager通信提交任務。
2 resourcemanager會有一個響應,分配一個jobid 以及一個hdfs目錄
.../staging/jobid
3 client將jar包上傳wc.jar job.xml 以及分片的信息到hdfs目錄
4 client通知resourcemanager 上傳完成
5 recourcemanager 根據分片的信息創建任務(每一個分片一個任務),并添 加到一個任務隊列
6 resourcemanager 在隨機一個nodemanager啟動一個mrappmaster.
7 mrappmaster與mrappmaster通信,取出任務,申請資源
8 resourcemanager 返回資源信息等mrappmaster中解析收到的信息在解析文件中指定的nodemanager中創建容器(存放資源)建立maptask
9 循環56步,直到任務隊列為空。
10 mrappmaster是監控task的,maptask與mrappmaster通信.上報task狀態
11 所有map task 執行完成,與resourcemanager通信,map完成計算釋放資源,并且申請運行reduce task 的資源
12 resourcemanager為reduce task 分配容器資源。
13 nodemanager 中的reduce task也需要與mrappmaster通信
14 reduce task將結果寫入到hdfs中。
注意:通常情況下一個nodemanager和一個datanode是在同一個節點上面
hadoop jar 的運行過程
最后編輯于 :
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
推薦閱讀更多精彩內容
- 轉自:http://www.cnblogs.com/yangsy0915/p/5559969.html 市面上的h...