本系列文章主要闡述大數(shù)據(jù)計算平臺相關框架的搭建，包括如下內(nèi)容：

  • 基礎環(huán)境安裝

  • zookeeper集群的搭建

  • kafka集群的搭建

  • hadoop/hbase集群的搭建

  • spark集群的搭建

  • flink集群的搭建

  • elasticsearch集群的搭建

  • alluxio集群的搭建

1.kafak簡介

Kafka是一個分布式、分區(qū)的、多副本的、多訂閱者的消息隊列,以高吞吐量著稱，主要用于實時數(shù)據(jù)的傳輸和處理，總體架構如下

iOS培訓,Swift培訓,蘋果開發(fā)培訓,移動開發(fā)培訓

 

更多內(nèi)容請閱讀官網(wǎng) http://kafka.apache.org/documentation.html#introduction

2.kafka安裝

  • 下載

地址：http://kafka.apache.org/downloads，選擇kafka_2.11-0.10.2.1.tgz版本

iOS培訓,Swift培訓,蘋果開發(fā)培訓,移動開發(fā)培訓

  • 解壓安裝

本文環(huán)境列表

iOS培訓,Swift培訓,蘋果開發(fā)培訓,移動開發(fā)培訓

直接在服務器10.20.112.59上解壓

1
2
3
cd ~
tar -zxvf kafka_2.11-0.10.2.1.tgz.gz
mv  kafka_2.11-0.10.2.1 kafka

  •  配置更改

編輯kafka server配置文件
vi /wls/oracle/kafka/config/server.properties
主要是如下幾項：

kafka集群
修改server.properties
不同集群broker.id 和host.name 不一樣，根據(jù)實際情況配置。
修改默認配置文件中的
broker.id(每臺服務器均不同)
port(如果是偽集群，則端口號需要改變)
host.name
advertised.host.name
zookeeper.connect(所有集群的ip均需要說明)
log.dirs

以服務器SZB-L0045546，則其server.properties需更改的配置如下：

iOS培訓,Swift培訓,蘋果開發(fā)培訓,移動開發(fā)培訓

broker.id=1port=9092host.name=SZB-L0045546
advertised.host.name=10.20.112.59zookeeper.connection=SZB-L0045546:2181,SZB-L0045551:2181,SZB-L0045552:2181/kafka
log.dirs=/wls/oracle/bigdata/kafka/kafka-logs-1,/wls/oracle/bigdata/kafka/kafka-logs-2,/wls/oracle/bigdata/kafka/kafka-logs-3

iOS培訓,Swift培訓,蘋果開發(fā)培訓,移動開發(fā)培訓

而集群另外4臺服務器中的broker.id、host.name,advertised.host.name和SZB-L0045546的保持不同即可。同時集群中的服務器需要為kafka日志建立相關目錄

mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-1mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-2mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-3

  • 啟動和驗證

依次啟動集群中的kafka，執(zhí)行腳本如下： 

cd wls/oracle/bigdata/kafka/logs
nohup /wls/oracle/kafka/bin/kafka-server-start.sh /wls/oracle/kafka/config/server.properties >> /wls/oracle/bigdata/kafka/logs/kafka.out 2&1 &

創(chuàng)建topic

/wls/oracle/kafka/bin/kafka-topics.sh --zookeeper 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka --create --topic TEST --replication-factor 2 --partitions 3

顯示創(chuàng)建的topic

/wls/oracle/kafka/bin/kafka-topics.sh --zookeeper 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka --list

向TEST中寫入消息

/wls/oracle/kafka/bin/kafka-console-producer.sh --broker-list 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka --topic TEST

從topic TEST中消費數(shù)據(jù)

/wls/oracle/kafka/bin/kafka-console-consumer.sh --bootstrap-server 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka --topic TEST --from-beginning



 

 

http://www.cnblogs.com/molyeo/p/7151949.html