負(fù)責(zé)搭建公司日志分析，一直想把CDN日志也放入到日志分析，前些日志終于達(dá)成所愿，現(xiàn)在貼出具體做法：

1、收集日志

　　騰訊云CDN日志一般一小時(shí)刷新一次，也就是說當(dāng)前只能下載一小時(shí)之前的日志數(shù)據(jù)，但據(jù)本人觀察，有時(shí)前一小時(shí)的并下載不到，所以為了保險(xiǎn)起見，可以下載兩小時(shí)之前的日志數(shù)據(jù)。下載日志可以通過騰訊云的API獲取日志列表，然后下載。

　　騰訊云日志下載API 鏈接：https://www.qcloud.com/document/product/228/8087

日志采集腳本：

移動(dòng)開發(fā)培訓(xùn),Android培訓(xùn),安卓培訓(xùn),手機(jī)開發(fā)培訓(xùn),手機(jī)維修培訓(xùn),手機(jī)軟件培訓(xùn) get_cdn_log.py

放到定時(shí)任務(wù)，每小時(shí)執(zhí)行一次

# cdn日志30 */1 * * * /usr/bin/python /root/bin/get_cdn_log.py &> /dev/null

此圖解壓后的日志，每個(gè)域名保存為一個(gè)文件，按天分割。

　　移動(dòng)開發(fā)培訓(xùn),Android培訓(xùn),安卓培訓(xùn),手機(jī)開發(fā)培訓(xùn),手機(jī)維修培訓(xùn),手機(jī)軟件培訓(xùn)

2、filebeat配置（具體含義查看官方文檔）

移動(dòng)開發(fā)培訓(xùn),Android培訓(xùn),安卓培訓(xùn),手機(jī)開發(fā)培訓(xùn),手機(jī)維修培訓(xùn),手機(jī)軟件培訓(xùn)

[root@BJ-2-11 bin]# cat /usr/local/app/filebeat-1.2.3-x86_64/nginx-php.yml 
filebeat:
  prospectors:    -
      paths:        - /data/logs/cdn/*.log
      document_type: cdn-log
      input_type: log