摘要：是一個日志收集器，支持非常多的輸入源和輸出源。這個庫支持展開文件路徑，而且會記錄一個叫的數(shù)據(jù)庫文件來跟蹤被監(jiān)聽的日志文件的當(dāng)前讀取位置。

對于Zookeeper我們用一條簡單的命令來測試一下：

echo ruok|nc localhost 2181

你應(yīng)該可以看到：

imok

Kafka 是由 Linked 開發(fā)并且開源的一套分布式的流平臺，它類似于一個消息隊列。 Kafka 的優(yōu)勢就是適合構(gòu)建實時的流數(shù)據(jù)管道，并且可靠地獲取系統(tǒng)和應(yīng)用程序之間的數(shù)據(jù)， 還可以實時的對數(shù)據(jù)流進(jìn)行轉(zhuǎn)換。Kafka 的使用場景很多， 特別是在需要高吞吐量的系統(tǒng)上。首先來理解一下 Kafka 的幾個基本的概念：

Topic， Kafka 將消息進(jìn)行分類，每一類的消息稱之為一個主題(Topic).

Producer， 發(fā)布消息的對象稱之為主題生產(chǎn)者(Producer)

Consumer， 訂閱消息并處理消息的對象稱之為主題消費(fèi)者(Consumers)

Broker， 已發(fā)布的消息保存在一組服務(wù)器中，稱之為Kafka集群。集群中的每一個服務(wù)器都是一個代理(Broker)。 消費(fèi)者可以訂閱一個或多個主題（topic），并從Broker拉數(shù)據(jù)，從而消費(fèi)這些已發(fā)布的消息。

我們可以登錄到 Kafka 容器中，做一些簡單的小測試，登錄到容器中的命令:

docker-compose exec kafka bash

首先來創(chuàng)建一個名為test的 Topic ，只有一個分區(qū)和一個備份：

kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic test

創(chuàng)建好之后，可以通過運(yùn)行以下命令，查看topic信息：

kafka-topics.sh --list --zookeeper zookeeper:2181

Kafka 默認(rèn)有提供了一個命令行的工具用來發(fā)送消息，一行是一條消息，運(yùn)行 Producer 然后輸入一些信息：

kafka-console-producer.sh --broker-list localhost:9092 --topic test 

Kafka 也提供了一個消費(fèi)消息的命令行工具，將存儲的信息輸出出來。

kafka-console-consumer.sh --zookeeper zookeeper:2181 --topic test --from-beginning

ElasticStack技術(shù)棧包括的三個軟件，而且一開始就是5.0的大版本，主要目的是為了讓其他的軟件版本號一致，方便各個軟件的對應(yīng)。不過到現(xiàn)在已經(jīng)發(fā)展到了6.0的版本了，我們這次就是用這個版本。具體的更新詳細(xì)可以查看這里Elasticsearch，這里只說說基本的概念。

Elasticsearch之所以可以方便的進(jìn)行查詢過濾排序是因為和 MongoDB 一樣存儲的是整個文檔，然后還會根據(jù)文檔的內(nèi)容進(jìn)行索引，而且文檔的格式用的還是很友好的 JSON，比如一個簡單的用戶對象可以這么表示：

{
    "name": "Xiao Ming",
    "phone": "10086",
    "age": "25",
    "info": {
        "site" : "https://sunnyshift.com"
        "likes": ["games", "music"]
    }
}

在 Elasticsearch 中有四個名詞，索引(idnex)、類型(type)、文檔(document)、字段(field)，這四個字段類似于數(shù)據(jù)庫中的數(shù)據(jù)庫(database), 表(table), 行(row), 列(column), Elasticsearch 可以包含多個索引，每個索引可以包含多個類型，每個類型可以包含多個文檔，每個文檔可以包含多個字段，把他想成數(shù)據(jù)庫就行了。

我們來簡單操作一下，先來創(chuàng)建一個索引，并且插入幾條數(shù)據(jù)：

PUT /banji/xuesheng/1
{
    "name": "Xiao Ming",
    "age": "12"
}
PUT /banji/xuesheng/2
{
    "name": "Xiao Hong",
    "age": "16"
}

具體操作可以使用 Kibana 上面的 Dev Tools 來運(yùn)行命令：

有了數(shù)據(jù)之后就可以來簡單的檢索一下：

這里只是介紹了一下簡單的入門使用，之后可以像一些其他的操作比如過濾、組合、全文、啥的都不在話下，甚至還可以高亮搜索結(jié)果。

Logstash 是一個日志收集器，支持非常多的輸入源和輸出源。我們簡單的整合一下 ElasticStack 這個技術(shù)棧，這里用 Nginx 的訪問日志來測試一下。Logstash 最新的是有一個 Beats 的組件來收集數(shù)據(jù)，這里先不考慮而是使用傳統(tǒng)的配置文件，我們會直接把配置寫到配置文件中。

Logstash 使用一個名叫 FileWatch 的 Ruby Gem 庫來監(jiān)聽文件變化。這個庫支持 glob 展開文件路徑，而且會記錄一個叫 .sincedb 的數(shù)據(jù)庫文件來跟蹤被監(jiān)聽的日志文件的當(dāng)前讀取位置。

使用 Dcoker 后配置文件路徑在logstash/config下，可以在該目錄下放置多個配置文件，最后 Logstash 會幫我們合并成一個。先來定義一個讀取 Nginx 訪問日志的配置：

input {
    file {
        path => [ "/var/log/nginx/access.log"]
        type => "accesslog"
    }
}
 
output {
    # 輸出到 elasticsearch，索引名為 access-log
    elasticsearch { 
        hosts => "localhost:9200"
        index => "access-log"
        user => "elastic"
        password => "changeme"
    }
}

要注意的是這里寫的 Nginx 的路徑是相對于 Logstash 容器的，所以要把該路徑掛載到容器中。然后重啟 Logstash 就可以去 Kibana 中查看日志了, 附上 Logstash 重啟命令。如果一切正常，那么就可以去 Kibana 中日志了。

docker-compose stop logstash
docker-compose up -d logstash

Kibana 是一個可視化的 UI 界面，并且可以檢索聚合分詞搜索在 Elasticsearch 中的數(shù)據(jù)，并且還可以以非常精美的圖標(biāo)來展示統(tǒng)計數(shù)據(jù)。我們需要在 Management 頁面中告訴 Kibana 我們剛才創(chuàng)建的 access-log 索引。

到這里就完成了收集 Nginx 系統(tǒng)日志并展示出來，對于 Kibana 還有很多用法，就不一一撰述了。