1、ELK介紹
ELK不是一款軟件，而是elasticsearch+Logstash+kibana三款開源軟件組合而成的日志收集處理套件，堪稱神器。其中Logstash負責日志收集，elasticsearch負責日志的搜索、統(tǒng)計，而kibana則是ES的展示神器，前端炫麗，點幾下鼠標簡單配置，就可以完成搜索、聚合功能，生成華麗的報表。
目前我們的日志方案：
flume負責收集，服務寫日志到文件，flume收集日志文件
flume匯總到數據通道kafka，供其他服務消費
日志搜索：從kafka讀取日志寫入到solr cloud提供搜索
日志統(tǒng)計：將kafka的日志寫到hdfs，使用spark、hive來做統(tǒng)計
日志展示：開發(fā)的java-web，讀取數據庫生成統(tǒng)計報表
當前日志方案問題分析：
