終于開始看Spark源碼了,先從最常用的spark-shell腳本開始吧。不要覺得一個啟動腳本有什么東東,其實(shí)里面還是有很多知識點(diǎn)的。另外,從啟動腳本入手,是尋找代碼入口最簡單的方法,很多開源框架,其實(shí)都可以通過這種方式來尋找源碼入口。

先來介紹一下Spark-shell是什么?

Spark-shell是提供給用戶即時交互的一個命令窗口,你可以在里面編寫spark代碼,然后根據(jù)你的命令立即進(jìn)行運(yùn)算。這種東西也被叫做REPL,(Read-Eval-Print Loop)交互式開發(fā)環(huán)境。

先來粗略的看一眼,其實(shí)沒有多少代碼:

#!/usr/bin/env bash#&nb
        
		

網(wǎng)友評論