摘要：部署環(huán)境依賴第三方組件下載地址官網(wǎng)簡(jiǎn)單的流程示意圖跟都支持集群部署，本文只簡(jiǎn)單描述如何多帶帶部署部署步驟三件套版本最好一致，小版本可以高，但是不可以低。

window環(huán)境下搭建簡(jiǎn)單ELK日志收集

前言
本文主要介紹如何在window環(huán)境下部署elk日志收集，網(wǎng)絡(luò)上大部分是linux的，剛好這邊服務(wù)需要用到window 環(huán)境，配置方式有點(diǎn)不同，大體是一樣的。

部署環(huán)境
window server 2008 R2
依賴第三方組件
JDK8+
elasticsearch-5.6.14
logstash-5.6.14
kibana-5.6.14-windows-x86
redis-3.2

下載地址官網(wǎng): https://www.elastic.co/

簡(jiǎn)單的流程示意圖
redis跟elasticsearch 都支持集群部署，本文只簡(jiǎn)單描述如何多帶帶部署

部署步驟

elk三件套版本最好一致，elasticsearch小版本可以高，但是不可以低。
關(guān)于elasticsearch 的搭建和配置可以參考之前的一篇文章
DUBBO監(jiān)控環(huán)境搭建

啟動(dòng)redis

redis默認(rèn)只允許本地訪問，如果要redis可以遠(yuǎn)程需要修改redis.windows.conf
將 bind 127.0.0.1 注釋掉，在redis3.2版本以上增加了一個(gè)保護(hù)模式，所以還需要修改protected-mode no

#bind 127.0.0.1

# Protected mode is a layer of security protection, in order to avoid that
# Redis instances left open on the internet are accessed and exploited.
#
# When protected mode is on and if:
#
# 1) The server is not binding explicitly to a set of addresses using the
#    "bind" directive.
# 2) No password is configured.

# By default protected mode is enabled. You should disable it only if
# you are sure you want clients from other hosts to connect to Redis
# even if no authentication is configured, nor a specific set of interfaces
# are explicitly listed using the "bind" directive.
protected-mode no

配置logstash

logstash的作用是將redis中的日志信息收集并保存到elasticsearch中，redis只是作為緩存保存數(shù)據(jù)，logstash取完之后會(huì)刪除redis中的數(shù)據(jù)信息。

1.指定啟動(dòng)JDK

指定JDK信息，如果有多個(gè)JDK需要指定，如果系統(tǒng)默認(rèn)1.8可以跳過
在 logstash-5.6.14bin的setup.bat 中加入這句
set JAVA_HOME=C:Program FilesJavajdk1.8.0_181

set JAVA_HOME=C:Program FilesJavajdk1.8.0_181
rem ### 1: determine logstash home

rem  to do this, we strip from the path until we
rem find bin, and then strip bin (there is an assumption here that there is no
rem nested directory under bin also named bin)

2.配置輸入輸出源

在 logstash-5.6.14bin中新建 logback.config（名字任意） 配置文件，定義輸入輸出
input接受數(shù)據(jù)的輸入，這邊指定到redis;
output輸出文件到指定的地方, elasticsearch;這邊的index索引會(huì)在kibana那邊配置用到
這個(gè)輸入和輸出的配置支持的類型比較多，有興趣專研的可以參考官網(wǎng)配置
logstash輸入配置
logstash輸出配置
另外logstash還支持filter過濾器設(shè)置

input {

    redis {
        data_type => "list"
        key => "logstash"
        host => "127.0.0.1"
        port => 6379
        threads => 5
        codec => "json"
    }
}
filter {

}
output {

    elasticsearch {
        hosts => ["127.0.0.1:9200"]
        index => "logstash-%{type}-%{+YYYY.MM.dd}"
        document_type => "%{type}"
        workers => 1
        flush_size => 20
        idle_flush_time => 1
        template_overwrite => true
    }
    stdout{}
}

啟動(dòng)logstash命令 logstash.bat -f logback.config

配置kibana

找到kibana-5.6.14-windows-x86config 中kibana.yml，1.配置host 0.0.0.0,運(yùn)行外網(wǎng)訪問，默認(rèn)只能本地訪問 2.配置es的地址。

server.host: "0.0.0.0"

# Enables you to specify a path to mount Kibana at if you are running behind a proxy. This only affects
# the URLs generated by Kibana, your proxy is expected to remove the basePath value before forwarding requests
# to Kibana. This setting cannot end in a slash.
#server.basePath: ""

# The maximum payload size in bytes for incoming server requests.
#server.maxPayloadBytes: 1048576

# The Kibana server"s name.  This is used for display purposes.
#server.name: "your-hostname"

# The URL of the Elasticsearch instance to use for all your queries.
elasticsearch.url: "http://localhost:9200"

啟動(dòng)Kibana.bat

跟logback的結(jié)合

添加maven支持，引入logback-redis-appender.jar包

        
            com.cwbase
            logback-redis-appender
            1.1.3
            
                
                    redis.clients
                    jedis
                
            
        

配置logback.xml，這里的key需要跟上面配置的logback.config配置文件中配置的key相匹配

    
        demo
        dubbo
        127.0.0.1
        logstash
        dev
        true
        true
        0
    
    
        
    
        
        
        
        
    

啟動(dòng)服務(wù)工程，logback會(huì)將日志發(fā)送到redis，打開kibana的頁(yè)面，第一次打開會(huì)提示創(chuàng)建索引規(guī)則，就是logback.config中es配置的索引logstash-*，創(chuàng)建好之后就可以看到日志已經(jīng)被采集到elasticsearch中，我們?cè)陧?yè)面就可以查看日志信息。
kibana默認(rèn)端口http://127.0.0.1:5601

結(jié)尾

最后說明下關(guān)于清除日志，ElasticSearch 5.x版本中刪除過期ttl屬性，所以我們需要定時(shí)清理es的索引，在服務(wù)中建一個(gè)bat定時(shí)執(zhí)行，以下為刪除30天前的全部索引。
http://{Elasticsearch IP}:9200/_cat/indices?v 查看es的所有索引

set DATA=`date -d "-30 days" +%Y.%m.%d`
curl -XDELETE http://127.0.0.1:9200/*-${DATA}

以上

參考文檔
http://www.cnblogs.com/ASPNET...
https://blog.csdn.net/xuezhan...