終于開始看Spark源碼了,先從最常用的spark-shell腳本開始吧。不要覺得一個啟動腳本有什么東東,其實里面還是有很多知識點的。另外,從啟動腳本入手,是尋找代碼入口最簡單的方法,很多開源框架,其實都可以通過這種方式來尋找源碼入口。

先來介紹一下Spark-shell是什么?

Spark-shell是提供給用戶即時交互的一個命令窗口,你可以在里面編寫spark代碼,然后根據(jù)你的命令立即進行運算。這種東西也被叫做REPL,(Read-Eval-Print Loop)交互式開發(fā)環(huán)境。

先來粗略的看一眼,其實沒有多少代碼:

#!/usr/bin/env bash#&nb