分類導(dǎo)航

Spark源碼閱讀之存儲體系--存儲體系概述與shuffle服務(wù)

發(fā)布時間：2017年07月16日作者：IT網(wǎng)絡(luò)文摘

一、概述

根據(jù)《深入理解Spark：核心思想與源碼分析》一書，結(jié)合最新的spark源代碼master分支進行源碼閱讀，對新版本的代碼加上自己的一些理解，如有錯誤，希望指出。

塊管理器是Spark存儲體系的核心組件，Driver Application和Executor都會創(chuàng)建BlockManager，源代碼位置在core/org.apache.spark.storage,部分代碼如下。

Android培訓(xùn),安卓培訓(xùn),手機開發(fā)培訓(xùn),移動開發(fā)培訓(xùn),云培訓(xùn)培訓(xùn) View Code

上面代碼中聲明的BlockInfoManager用于管理BlockManager緩存BlockId及對應(yīng)的BlockInfo，BlockInfoManager提供一些列的同步讀寫策略。BlockManager由以下部分組成。

1）shuffle客戶端shuffleClient；

2）BlockManagerMaster，對存在于所有Executor上的BlockManager進行統(tǒng)一管理；

3）磁盤塊管理器DiskBlockManager；

4）內(nèi)存存儲MemoryStore；