1 Storm介紹
Storm是由Twitter開(kāi)源的分布式、高容錯(cuò)的實(shí)時(shí)處理系統(tǒng),它的出現(xiàn)令持續(xù)不斷的流計(jì)算變得容易,彌補(bǔ)了Hadoop批處理所不能滿足的實(shí)時(shí)要求。Storm常用于在實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、持續(xù)計(jì)算、分布式遠(yuǎn)程調(diào)用和ETL等領(lǐng)域。
在Storm的集群里面有兩種節(jié)點(diǎn):控制節(jié)點(diǎn)(Master Node)和工作節(jié)點(diǎn)(Worker Node)??刂乒?jié)點(diǎn)上面運(yùn)行一個(gè)名為Nimbus的進(jìn)程,它用于資源分配和狀態(tài)監(jiān)控;每個(gè)工作節(jié)點(diǎn)上面運(yùn)行一個(gè)Supervisor的進(jìn)程,它會(huì)監(jiān)聽(tīng)分配給它所在機(jī)器的工作,根據(jù)需要啟動(dòng)/關(guān)閉工作進(jìn)程。Storm集群架構(gòu)如下圖所示: