簡介

 

Kafka擅長于做什么？

它被用于兩大類應(yīng)用：

  1. 在應(yīng)用間構(gòu)建實(shí)時(shí)的數(shù)據(jù)流通道

  2. 構(gòu)建傳輸或處理數(shù)據(jù)流的實(shí)時(shí)流式應(yīng)用

幾個(gè)概念：

  • Kafka以集群模式運(yùn)行在1或多臺服務(wù)器上

  • Kafka以topics的形式存儲數(shù)據(jù)流

  • 每一個(gè)記錄包含一個(gè)key、一個(gè)value和一個(gè)timestamp

Kafka有4個(gè)核心API：

  • Producer API：用于應(yīng)用程序?qū)?shù)據(jù)流發(fā)送到一個(gè)或多個(gè)Kafka topics

  • Consumer API：用于應(yīng)用程序訂閱一個(gè)或多個(gè)topics并處理被發(fā)送到這些topics中的數(shù)據(jù)

  • Streams API：允許應(yīng)用程序作為流處理器，處理來自一個(gè)或多個(gè)topics的數(shù)據(jù)并將處理結(jié)果發(fā)送到一個(gè)或多個(gè)topics中，有效的將輸入流轉(zhuǎn)化為輸出流

  • Connector API：用于構(gòu)建和運(yùn)行將Kafka topics和現(xiàn)有應(yīng)用或數(shù)據(jù)系統(tǒng)連接的可重用的produers和consumers。例如，如鏈接到關(guān)系數(shù)據(jù)庫的連接器可能會捕獲某個(gè)表所有的變更