資訊專(zhuān)欄INFORMATION COLUMN
摘要：線上運(yùn)營(yíng)的問(wèn)題配置更新首先，配置修改問(wèn)題。腳本每隔分鐘執(zhí)行一次，檢查配置，生效。那怎么監(jiān)控這一環(huán)呢自己弄了個(gè)模塊，抽取內(nèi)置的變量等等通過(guò)抽樣上報(bào)給集群，利用根據(jù)業(yè)務(wù)，域名，路徑等分類(lèi)實(shí)時(shí)分組計(jì)算，按分鐘緯度統(tǒng)計(jì)匯總。
背景
標(biāo)題黨了，現(xiàn)在不寫(xiě)個(gè)海量、高并發(fā)、大數(shù)據(jù)都不好意思發(fā)出來(lái)。
前面發(fā)了一個(gè)nginx的tips文章，一些基本的用法。這里主要說(shuō)下nginx在多業(yè)務(wù)、大規(guī)模場(chǎng)景下的一些實(shí)踐與問(wèn)題。
首先，配置修改問(wèn)題。1-2個(gè)業(yè)務(wù)，20臺(tái)以下的nginx機(jī)器，人肉修改nginx配置沒(méi)問(wèn)題。但業(yè)務(wù)線拉長(zhǎng)，業(yè)務(wù)需求多，需要一個(gè)配置管理系統(tǒng)統(tǒng)一按版本、下方配置。方便統(tǒng)一管理與記錄。
然后，upstream后端機(jī)器擴(kuò)縮容帶來(lái)的變更。如果每次都需要人工修改配置下發(fā)，肯定會(huì)廢掉。最好是有一個(gè)接口來(lái)做這個(gè)事情，貌似阿里的tengine已經(jīng)實(shí)現(xiàn)了。
我這里是利用我廠內(nèi)部的一個(gè)類(lèi)dns的名字服務(wù)，自己寫(xiě)腳本實(shí)現(xiàn)的。大概步驟是：
nginx.tplt(nginx配置模版,upstream里配置名字服務(wù)的id) --->腳本處理翻譯--> nginx標(biāo)準(zhǔn)配置文件
名字服務(wù)和內(nèi)部云系統(tǒng)完全打通，upstream后端機(jī)器的變更可以實(shí)時(shí)的通過(guò)名字服務(wù)查詢(xún)到。腳本每隔2分鐘執(zhí)行一次，nginx檢查配置，reload生效。實(shí)現(xiàn)了后端自動(dòng)擴(kuò)縮容，nginx接入自動(dòng)生效。
nginx監(jiān)控缺失nginx自帶的stats模塊只能看全局的連接數(shù)，線上業(yè)務(wù)動(dòng)輒上萬(wàn)QPS，開(kāi)日志會(huì)浪費(fèi)機(jī)器io，而且又帶來(lái)一個(gè)新的問(wèn)題： 日志管理。所以我線上默認(rèn)全部關(guān)閉日志。那怎么監(jiān)控nginx這一環(huán)呢？
自己弄了個(gè)nginx模塊，抽取nginx內(nèi)置的變量: upstream_addr, upstream_status, upstream_response_time, response_time, status,body_bytes_sent等等.通過(guò)udp抽樣上報(bào)給storm集群，利用storm根據(jù)業(yè)務(wù)id，域名，api路徑等分類(lèi)實(shí)時(shí)分組計(jì)算，按5分鐘緯度統(tǒng)計(jì)匯總。原始日志落地至hdfs，供故障定位時(shí)查看。
這樣，每個(gè)業(yè)務(wù)的http狀態(tài)碼占比，upstream后端健康度都可以監(jiān)控起來(lái)，并設(shè)置指標(biāo)告警。
未完待續(xù).....
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/39126.html
摘要：月日，首期沙龍海量運(yùn)維實(shí)踐大曝光在騰訊大廈圓滿舉行。六總結(jié)相關(guān)文章騰訊云運(yùn)維干貨沙龍海量運(yùn)維實(shí)踐大曝光二騰訊云運(yùn)維干貨沙龍海量運(yùn)維實(shí)踐大曝光三沙龍下載地址 作者丨郭智文：騰訊高級(jí)工程師，手機(jī)QQ運(yùn)維負(fù)責(zé)人。多年來(lái)，對(duì)移動(dòng)互聯(lián)網(wǎng)應(yīng)用的接入質(zhì)量度量、優(yōu)化有豐富的實(shí)踐經(jīng)驗(yàn)，專(zhuān)注于業(yè)務(wù)架構(gòu)優(yōu)化、彈性伸縮、運(yùn)營(yíng)服務(wù)管理、幫助產(chǎn)品打造極致的技術(shù)基礎(chǔ)和質(zhì)量口碑。 12月16日，首期沙龍海量運(yùn)維實(shí)踐大...
摘要：在當(dāng)天的論壇上，除了解決大數(shù)據(jù)問(wèn)題，云計(jì)算還促進(jìn)了運(yùn)營(yíng)商新業(yè)務(wù)的拓展。因?yàn)樵朴?jì)算，大數(shù)據(jù)的廣泛應(yīng)用從而成為了可能。電信運(yùn)營(yíng)商已在更多地利用云計(jì)算將大數(shù)據(jù)轉(zhuǎn)化為自己的業(yè)務(wù)競(jìng)爭(zhēng)優(yōu)勢(shì)。 云計(jì)算和大數(shù)據(jù)這兩個(gè)詞已經(jīng)更多地被放在一起討論，而從應(yīng)用角度看，大數(shù)據(jù)更能挑動(dòng)用戶(hù)的神經(jīng)。目前，并不是所有的企業(yè)都面臨著大數(shù)據(jù)的困擾，但是擁有著幾千萬(wàn)甚至幾億客戶(hù)的運(yùn)營(yíng)商，大數(shù)據(jù)所帶來(lái)的問(wèn)題日益顯現(xiàn)。日前在Tera...
摘要：作者丨魏旸騰訊高級(jí)工程師，具有年運(yùn)維經(jīng)驗(yàn)的專(zhuān)家。月日，首期沙龍海量運(yùn)維實(shí)踐大曝光在騰訊大廈圓滿舉行。您也可以在騰訊織云公眾號(hào)下載本次演講。相關(guān)文章騰訊云運(yùn)維干貨沙龍海量運(yùn)維實(shí)踐大曝光一騰訊云運(yùn)維干貨沙龍海量運(yùn)維實(shí)踐大曝光三沙龍下載地址 作者丨魏旸：騰訊高級(jí)工程師，具有15年運(yùn)維經(jīng)驗(yàn)的專(zhuān)家。負(fù)責(zé)QQ空間、微云、QQ空間相冊(cè)等的運(yùn)維工作。 12月16日，首期沙龍海量運(yùn)維實(shí)踐大曝光在騰訊大廈...
閱讀 3170·2021-09-28 09:42
閱讀 3493·2021-09-22 15:21
閱讀 1166·2021-07-29 13:50
閱讀 3650·2019-08-30 15:56
閱讀 3397·2019-08-30 15:54
閱讀 1225·2019-08-30 13:12
閱讀 1208·2019-08-29 17:03
閱讀 1232·2019-08-29 10:59
