序:最近對(duì)storm平臺(tái)系統(tǒng)進(jìn)行性能檢測(cè)發(fā)現(xiàn)偶爾會(huì)出現(xiàn)oncebolt向另一個(gè)twobolt發(fā)送數(shù)據(jù)后，twobolt要500毫秒后才接收到進(jìn)行處理。這里簡(jiǎn)單說(shuō)增大twobolt的并行度即可解決，但是究其內(nèi)部原因是因?yàn)閟torm的通信機(jī)制所導(dǎo)致的問(wèn)題。
先介紹背景:一個(gè)拓?fù)涞慕Y(jié)構(gòu)，spout(并行度:1)[處理性能:capacity 0.04],oncebolt(并行度:20)[處理性能:capacity 0.2],twobolt(并行度:100)[處理性能:capacity 0.6];整個(gè)拓?fù)渚臀翌A(yù)估最大的處理量就是一秒一千條。
原文和作者一起討論:http://www.cnblogs.com/intsmaze/p/6544017.htmll
微信：intsmaze
最近對(duì)系統(tǒng)進(jìn)行性能檢測(cè)，統(tǒng)計(jì)整個(gè)storm系統(tǒng)中一條消息處理中各個(gè)IO耗時(shí)的時(shí)間，找出性能瓶頸。發(fā)現(xiàn)除了活動(dòng)匹配中會(huì)有分布式鎖以及大量的redis的IO操作，導(dǎo)致最多會(huì)耗時(shí)30ms,以及從Hbase中查詢(xún)數(shù)據(jù)時(shí)由于hbase集群當(dāng)時(shí)正在跑任務(wù)導(dǎo)致耗時(shí)1~2s。唯一出現(xiàn)的問(wèn)題就是onebolt向twobolt發(fā)送數(shù)據(jù)后，某些數(shù)據(jù)耗時(shí)幾百毫秒才會(huì)被twobolt接收到。這就引起了我的注意。
先上一下偽代碼：
public class OnceBolt extends BaseRichBolt{ private static final long serialVersionUID = -5283595260540124273L;
