摘要：是一個(gè)完全開源的工具，他可以對你的日志進(jìn)行收集分析，并將其存儲(chǔ)供以后使用。也是一個(gè)開源和免費(fèi)的工具，他可以為和提供的日志分析友好的界面，可以幫助您匯總分析和搜索重要數(shù)據(jù)日志。

ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三個(gè)開源工具組成。官方網(wǎng)站： https://www.elastic.co/products

Elasticsearch 是個(gè)開源分布式搜索引擎，它的特點(diǎn)有：分布式，零配置，自動(dòng)發(fā)現(xiàn)，索引自動(dòng)分片，索引副本機(jī)制， restful 風(fēng)格接口，多數(shù)據(jù)源，自動(dòng)搜索負(fù)載等。

Logstash 是一個(gè)完全開源的工具，他可以對你的日志進(jìn)行收集、分析，并將其存儲(chǔ)供以后使用。

kibana 也是一個(gè)開源和免費(fèi)的工具，他 Kibana 可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助您匯總、分析和搜索重要數(shù)據(jù)日志。

elk工作流程：
數(shù)據(jù)--[輸入數(shù)據(jù)]-->Logstash--[過濾輸出數(shù)據(jù)]-->Elasticsearch--[展示分析數(shù)據(jù)]-->kibana

這里主要說下Logstash的配置（其他安裝配置都比較簡單，且文檔豐富）
常規(guī)日志格式
1、 首先是配置Nginx訪問日志的格式，根據(jù)日志分析需求配置

 log_format access "$http_host $remote_addr - $remote_user [$time_local] "$request" "
            "$status $body_bytes_sent "$http_referer" "
            ""$http_user_agent" "
            "$request_time $upstream_response_time "
            ""$http_x_forwarded_for"";

2、 Logstash，它主要是連接數(shù)據(jù)和es的管道，一切數(shù)據(jù)源，過濾，輸出地址均在logstash配置文件中進(jìn)行配置，寫配置文件的時(shí)候需要根據(jù)elk的版本號(hào)對應(yīng)配置，比如我在配置過程中filter中沒有type設(shè)置項(xiàng)，執(zhí)行時(shí)就會(huì)有報(bào)錯(cuò)，可以根據(jù)報(bào)錯(cuò)信息進(jìn)行對應(yīng)修改

 input {
            file {
                    path => "/Users/User/log/access.log"
                    type => "web_nginx_access"
            }
    }
    filter {
    if [type] == "web_nginx_access" {
            grok {
                    match => [
                    "message", "%{IPORHOST:http_host} %{IPORHOST:user_ip} - - [%{HTTPDATE:timestamp}] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion:float})?|%{DATA:rawrequest})" %{NUMBER:response:int} (?:%{NUMBER:bytes:int}|-) %{QS:referrer} %{QS:useragent} (?:%{NUMBER:request_time:float}|-) (?:%{NUMBER:upstream_time:float}|-)"
                    ]
            }
    }
            geoip {
                    source => "user_ip"
            }
    
    if [type] == "web_nginx_access" {
            date {
                    match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
            }
    }
            useragent {
                    target => "ua"
                    source => "useragent"
            }
    }
    output {
        elasticsearch {
             hosts => "127.0.0.1"
            index => "logstash-web_nginx_access-%{+YYYY.MM.dd}"
        }
    }

Json日志格式
1、nginx配置使用json格式，logstash的配置會(huì)非常簡單

2、logstash配置

input {
        file {
                path => "/Users/User/log/access.log"
                type => "web_nginx_access"
                start_position => beginning
                codec => "json"
        }
}

filter {
}
output {
    elasticsearch {
        hosts => "127.0.0.1"
        index => "logstash-web_nginx_access-%{+YYYY.MM.dd}"
    }
}

自定義格式
1、例如程序記錄的日志格式是這樣的：[NOTICE] [2017-04-05 12:00:00] [404] [/index.php] [500] [id=123&btime=2017&etime=2018] [路徑不存在]；就可以在logstash自定義正則匹配，重命名字段
2、logstash配置

input {
    file {
        path => ["/opt/logs/applog/applog_*.log", "***.log"] #日志路徑，可以是數(shù)組形式
        start_position => beginning #從日志開始位置導(dǎo)入數(shù)據(jù)
        sincedb_path => "/etc/logstash/conf.d/sincedb" #存儲(chǔ)導(dǎo)入進(jìn)度，刪除后會(huì)重新導(dǎo)入所有數(shù)據(jù)
    }
}
filter {
    grok {
        match => { "message" => "(?[(.*?)])s*(?[(.*?)])s*(?[(.*?)])s*(?[(.*?)])s*(?[(.*?)])s*(?[(.*?)])s*(?[(.*?)])s*"} #匹配規(guī)則，match可以是多個(gè)，自動(dòng)匹配合適的規(guī)則表達(dá)式
    }
}
output {
   elasticsearch {
       hosts => "127.0.0.1:9200"
       index => "logstash-%{+YYYY.MM.dd}" #生成es文件名稱
   }
}