Spark有幾種部署的模式，單機(jī)版、集群版等等，平時(shí)單機(jī)版在數(shù)據(jù)量不大的時(shí)候可以跟傳統(tǒng)的java程序一樣進(jìn)行斷電調(diào)試、但是在集群上調(diào)試就比較麻煩了...遠(yuǎn)程斷點(diǎn)不太方便，只能通過(guò)Log的形式進(jìn)行數(shù)據(jù)分析，利用spark ui做性能調(diào)整和優(yōu)化。
那么本篇就介紹下如何利用Ui做性能分析，因?yàn)楸救说慕?jīng)驗(yàn)也不是很豐富，所以只能作為一個(gè)入門(mén)的介紹。
大體上會(huì)按照下面的思路進(jìn)行講解：
怎么訪問(wèn)Spark UI
SparkUI能看到什么東西？job,stage,storage,environment,excutors
調(diào)優(yōu)的一些經(jīng)驗(yàn)總結(jié)
Spark UI入口
如果是單機(jī)版本，在單機(jī)調(diào)試的時(shí)候輸出信息中已經(jīng)提示了UI的入口：
17/02/26 13:55:48 INFO SparkEnv: Registering OutputCommitCoordinator17/02/26 13:55:49 INFO Utils: Successfully started service 'SparkUI' on port 4040.17/02/26&n
