摘要:在這篇文章中,我們將使用來部署,并將它用于追蹤上的和。我們將使用創(chuàng)建一個索引模板,來調(diào)整相關(guān)配置。這樣,一個配置正確的已經(jīng)準(zhǔn)備好被使用了后續(xù)我們還將會對它進(jìn)行一些配置。雖然和已經(jīng)部署好了,我們還是需要對進(jìn)行一些操作。
介紹
Elasticsearch是ELK(Elasticsearch/Logstash/Kibana)的基石。在這篇文章中,我們將使用Rancher Catalog來部署stack,并將它用于追蹤Twitter上的tag和brand。
追蹤Twitter上的hashtag對于衡量基于Twitter的營銷活動的影響力是非常有用的。你可以從中提取出諸如您的推文被轉(zhuǎn)發(fā)的次數(shù),你的營銷活動為你帶來了多少位新的關(guān)注者等有效信息。
安裝ELK stack Elasticsearch若你已經(jīng)有了一個正在工作中的Elasticsearch集群,現(xiàn)在只需要調(diào)整一些集群中的配置即可。我們將使用JSON創(chuàng)建一個索引模板,來調(diào)整相關(guān)配置。
在GitHub上獲取JSON模板
在你的瀏覽器中輸入http://[你的kopf在rancher主機(jī)上的路徑]
在kopf中,點(diǎn)擊“more”,然后在下拉菜單中選擇“index templates”
現(xiàn)在我們給我們的索引模板起個名字,并且推動其配置。
使用twitter_elk_example作為模板名稱
粘貼你之前下載的JSON文件中的內(nèi)容
點(diǎn)擊“save”按鈕
Elasticsearch集群的配置就到這里。現(xiàn)在讓我們接著往下走。
LogstashLogstash讓你能夠分析所獲得的數(shù)據(jù)并且將數(shù)據(jù)傳輸至你的Elasticsearch集群中。它原生支持很多數(shù)據(jù)源(如Twitter APIs、collectd、Apache日志等)。
在處理你的數(shù)據(jù)時,Logstash可以幫助你解壓或格式化你數(shù)據(jù)中的正確部分。這樣,你就不必推送一些不必要的或者(更糟的)錯誤數(shù)據(jù),這些臟數(shù)據(jù)會使你的Kibana dashboard與實(shí)際情況不相符。
在我們開始之前,需要創(chuàng)建Twitter應(yīng)用密鑰
需要特別關(guān)注以下內(nèi)容:
Consumer Key
Consumer Secret
Access Token
Access Token Secret
注意:確保你所有的Rancher主機(jī)的時鐘均已同步,否則你將無法正確地使用Twitter證書。
現(xiàn)在跳轉(zhuǎn)到目錄頁并選擇Logstash(最好是最新的版本)。你需要在“Logstash inputs*”輸入框中加入以下內(nèi)容(用你自己的APIs認(rèn)證密鑰替換CAP文本):
twitter { consumer_key => "INSERT YOUR CONSUMER KEY" consumer_secret => "INSERT YOUR CONSUMER SECRET" oauth_token => "INSERT YOUR ACCESS TOKEN" oauth_token_secret => "INSERT YOUR ACCESS TOKEN SECRET" keywords => [ "docker", "rancher_labs", "rancher", "kubernetes" ] full_tweet => true }
注意:在關(guān)鍵字?jǐn)?shù)組中,不要使用“@”或者“#”符號,否則Logstash將運(yùn)行失敗并報“unauthorized message”錯誤。
在“Logstash output*”這個輸入框中,你需要加入以下內(nèi)容
output { elasticsearch { host => "elasticsearch:9200" protocol => "http" cluster_name => "NAME OF YOUR ELASTICSEARCH CLUSTER" index => "twitter_elk_example" document_type => "tweets" }
最后,選擇“elasticsearch-clients as the Elasticsearch stack/service”,點(diǎn)擊“l(fā)aunch”按鈕即可!
接下來的事情Rancher將會幫你做完,包括部署一個完全配置好的Logstash。如果一切順利,在幾分鐘之內(nèi),你應(yīng)該能看到數(shù)據(jù)已經(jīng)被加入到了你的Elasticsearch主頁中。你可以在http://[你的ElasticSearch主機(jī)地址]/#kopt 中查看。
KibanaKibana能幫助你根據(jù)Elasticsearch集群中的數(shù)據(jù)創(chuàng)建一個強(qiáng)大的dashboard。要部署Kibana,你只需要做兩件事情:選擇正確的Rancher Catalog版本,然后將它連接到elasticsearch-clients容器中。
這樣,一個配置正確的Kibana已經(jīng)準(zhǔn)備好被使用了!后續(xù)我們還將會對它進(jìn)行一些配置。
現(xiàn)在,整個ELK棧就部署好了。雖然Elasticsearch和Logstash已經(jīng)部署好了,我們還是需要對Kibana進(jìn)行一些操作。
在這個例子中,我們只需要在Kibana中導(dǎo)入一個JSON儀表盤即可。
點(diǎn)擊這里獲取JSON文件
進(jìn)入Settings –> Object,然后點(diǎn)擊“import”,接下來選擇剛剛下載好的文件。你應(yīng)該會看到類似于下圖的界面。
剩下的就是在Kibana中創(chuàng)建一個適當(dāng)?shù)乃饕O(shè)置了。
前往“Indices”頁面,然后點(diǎn)擊“New”按鈕。你應(yīng)該能看到被創(chuàng)建好的索引和被選擇了的@timestamp(時間戳)。
到目前位置,你已經(jīng)有了一個幫助你監(jiān)控Twitter上的hashtag和brand的Kibana dashboard。要加載被導(dǎo)入的dashboard,你只需要在這里點(diǎn)擊它的名字即可。
幾分鐘后,重新查看dashboard,你會看到類似下圖的界面:
至此,你就能成功監(jiān)測Twitter上的tag和brand的情況啦!
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://systransis.cn/yun/26892.html
摘要:搭建系列環(huán)境搭建集群搭建集群環(huán)境搭建搭建集群環(huán)境搭建序本文主要講如何使用使用搭建。下載鏡像這里利用搭好的鏡像,不過是的版本。 docker搭建系列 docker環(huán)境搭建zk集群 docker搭建redis集群 docker環(huán)境搭建elasticsearch docker搭建rabbitmq集群 docker環(huán)境搭建ELK 序 本文主要講如何使用使用docker搭建elasticse...
摘要:為表示只有一個實(shí)例。不會有數(shù)據(jù)丟失,所以搜索結(jié)果依然是完整的。高可用會弱化把想象成一個需要及時調(diào)查的警告。項目運(yùn)行起來后,可以發(fā)送寫入和查詢的請求來測試功能的正確性。 這篇教程主要是對在入門的elasticsearch的一個記錄。 ES 集群安裝 安裝環(huán)境 基于 Dokcer ,單機(jī)安裝 Docker 版集群。使用版本如下: Elasticsearch 5.3.2 Kibana 5....
閱讀 509·2021-09-03 00:22
閱讀 1382·2021-08-03 14:03
閱讀 2102·2021-07-25 21:37
閱讀 661·2019-08-30 13:18
閱讀 1889·2019-08-29 16:19
閱讀 2697·2019-08-29 13:22
閱讀 1321·2019-08-29 12:16
閱讀 2597·2019-08-26 12:16