Python腳本收集騰訊云CDN日志，并入ELK日志分析

負責搭建公司日志分析，一直想把CDN日志也放入到日志分析，前些日志終于達成所愿，現(xiàn)在貼出具體做法：

1、收集日志

　　騰訊云CDN日志一般一小時刷新一次，也就是說當前只能下載一小時之前的日志數(shù)據(jù)，但據(jù)本人觀察，有時前一小時的并下載不到，所以為了保險起見，可以下載兩小時之前的日志數(shù)據(jù)。下載日志可以通過騰訊云的API獲取日志列表，然后下載。

　　騰訊云日志下載API 鏈接：https://www.qcloud.com/document/product/228/8087

日志采集腳本：

 get_cdn_log.py

放到定時任務，每小時執(zhí)行一次

# cdn日志30 */1 * * * /usr/bin/python /root/bin/get_cdn_log.py &> /dev/null

此圖解壓后的日志，每個域名保存為一個文件，按天分割。

2、filebeat配置（具體含義查看官方文檔）

[root@BJ-2-11 bin]# cat /usr/local/app/filebeat-1.2.3-x86_64/nginx-php.yml 
filebeat:
  prospectors:    -
      paths:        - /data/logs/cdn/*.log
      document_type: cdn-log
      input_type: log
 
        
		

        		
網(wǎng)友評論
     		
				

			
			
			
		
		
		
    	
    	
        	

        		
更多精彩分享
        		

        			
        		
        			
	        		
	        		學習是年輕人改變自己的最好方式