簡介

 

Kafka擅長于做什么？

它被用于兩大類應(yīng)用：

  1. 在應(yīng)用間構(gòu)建實時的數(shù)據(jù)流通道

  2. 構(gòu)建傳輸或處理數(shù)據(jù)流的實時流式應(yīng)用

幾個概念：

  • Kafka以集群模式運行在1或多臺服務(wù)器上

  • Kafka以topics的形式存儲數(shù)據(jù)流

  • 每一個記錄包含一個key、一個value和一個timestamp

Kafka有4個核心API：

  • Producer API：用于應(yīng)用程序?qū)?shù)據(jù)流發(fā)送到一個或多個Kafka topics

  • Consumer API：用于應(yīng)用程序訂閱一個或多個topics并處理被發(fā)送到這些topics中的數(shù)據(jù)

  • Streams API：允許應(yīng)用程序作為流處理器，處理來自一個或多個topics的數(shù)據(jù)并將處理結(jié)果發(fā)送到一個或多個topics中，有效的將輸入流轉(zhuǎn)化為輸出流

  • Connector API：用于構(gòu)建和運行將Kafka topics和現(xiàn)有應(yīng)用或數(shù)據(jù)系統(tǒng)連接的可重用的produers和consumers。例如，如鏈接到關(guān)系數(shù)據(jù)庫的連接器可能會捕獲某個表所有的變更