4-spark存儲管理

Spark存儲結構分為兩層:
1)內存存儲MemoryStore : 負責數據塊在內存中存儲
2)磁盤存儲DiskStore: 實現數據塊到磁盤的存取
其中MemoryStore 主要用作緩存以及任務計算時期數據存儲,DiskStore用在內存存儲不足時使用。Executor和Driver都是通過BlockManager來管理存儲,以及Executor和Driver的通信(主要是數據傳輸和數據塊信息的匯報),存儲體系結構如下圖所示:

5-spark內存管理.png

MemoryStore使用MemoryManager來管理內存,MemoryAllocator來分配內存。由于內存資源有限,因此需要合理分配內存資源,避免浪費或者內存異常。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容