1、ELK介紹

ELK不是一款軟件，而是elasticsearch+Logstash+kibana三款開源軟件組合而成的日志收集處理套件，堪稱神器。其中Logstash負(fù)責(zé)日志收集，elasticsearch負(fù)責(zé)日志的搜索、統(tǒng)計(jì)，而kibana則是ES的展示神器，前端炫麗，點(diǎn)幾下鼠標(biāo)簡(jiǎn)單配置，就可以完成搜索、聚合功能，生成華麗的報(bào)表。

目前我們的日志方案：

  • flume負(fù)責(zé)收集，服務(wù)寫日志到文件，flume收集日志文件

  • flume匯總到數(shù)據(jù)通道kafka，供其他服務(wù)消費(fèi)

  • 日志搜索：從kafka讀取日志寫入到solr cloud提供搜索

  • 日志統(tǒng)計(jì)：將kafka的日志寫到hdfs，使用spark、hive來做統(tǒng)計(jì)

  • 日志展示：開發(fā)的java-web，讀取數(shù)據(jù)庫(kù)生成統(tǒng)計(jì)報(bào)表

當(dāng)前日志方案問題分析：