隨著對spark的業(yè)務(wù)更深入，對spark的了解也越多，然而目前還處于知道的越多，不知道的更多階段，當(dāng)然這也是成長最快的階段。這篇文章用作總結(jié)最近收集及理解的spark相關(guān)概念及其關(guān)系。
名詞
driver
driver物理層面是指輸入提交spark命令的啟動程序，邏輯層面是負(fù)責(zé)調(diào)度spark運行流程包括向master申請資源，拆解任務(wù)，代碼層面就是sparkcontext。
worker
worker指可以運行的物理節(jié)點。
executor
executor指執(zhí)行spark任務(wù)的處理程序，對java而言就是擁有一個jvm的進程。一個worker節(jié)點可以運行多個executor，只要有足夠的資源。
