Spark有幾種部署的模式，單機版、集群版等等，平時單機版在數(shù)據(jù)量不大的時候可以跟傳統(tǒng)的java程序一樣進行斷電調(diào)試、但是在集群上調(diào)試就比較麻煩了...遠程斷點不太方便，只能通過Log的形式進行數(shù)據(jù)分析，利用spark ui做性能調(diào)整和優(yōu)化。
那么本篇就介紹下如何利用Ui做性能分析，因為本人的經(jīng)驗也不是很豐富，所以只能作為一個入門的介紹。
大體上會按照下面的思路進行講解：
怎么訪問Spark UI
SparkUI能看到什么東西？job,stage,storage,environment,excutors
調(diào)優(yōu)的一些經(jīng)驗總結(jié)
Spark UI入口
如果是單機版本，在單機調(diào)試的時候輸出信息中已經(jīng)提示了UI的入口：
17/02/26 13:55:48 INFO SparkEnv: Registering OutputCommitCoordinator17/02/26 13:55:49 INFO Utils: Successfully started service 'SparkUI' on port 4040.17/02/26&n
延伸閱讀
- ssh框架
2016-09-30
- 阿里移動安全 [無線安全]玩轉(zhuǎn)無線電——不安全的藍牙鎖
2017-07-26
- 消息隊列NetMQ 原理分析4-Socket、Session、Option和Pipe
2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標分割】
2017-07-26
- 詞向量-LRWE模型-更好地識別反義詞同義詞
2017-07-26
- 從棧不平衡問題 理解 calling convention
2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明
2017-07-26
- Swift實現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解
2017-07-26
- 阿里移動安全 Android端惡意鎖屏勒索應(yīng)用分析
2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來看看(二)
2017-07-26
學(xué)習(xí)是年輕人改變自己的最好方式