成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

Redis磁盤故障分析

IT那活兒 / 453人閱讀
Redis磁盤故障分析

點擊上方“IT那活兒”公眾號，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。?！


一

故障現(xiàn)象及原因分析

前段時間，生產(chǎn)環(huán)境上一個redis數(shù)據(jù)庫服務(wù)器的ssd盤出現(xiàn)故障，只能讀不能寫，其他盤寫入速度也很慢。導(dǎo)致redis實例的aof刷新一直失敗，最終宕掉。

簡言之：ssd磁盤故障導(dǎo)致redis異常宕庫。

分析故障產(chǎn)生的原因是ssd盤早期沒有格式化好，4k對齊沒做好。


二

處理過程

該redis機(jī)器是用來存儲collector采集到的日志的meta信息，比較關(guān)鍵，而且一臺機(jī)器上開啟了8個redis實例，所以不好處理。
一開始準(zhǔn)備把redis的aof文件轉(zhuǎn)移到一個新的盤上，并且把a(bǔ)of的dir動態(tài)更改到其他盤，結(jié)果發(fā)現(xiàn)redis實例掛掉了，就沒有動態(tài)更換aof目錄。這其中，redis的數(shù)據(jù)可能有所丟失，不過通過collector和redis日志發(fā)現(xiàn)，磁盤掛了后redis寫入已經(jīng)失敗，估計有丟失數(shù)據(jù)也不多。collector有實現(xiàn)meta寫入redis失敗時轉(zhuǎn)為寫入本地磁盤，所以在redis實例down掉時，數(shù)據(jù)也不會丟失。

接著，處理4k對齊。    

先把所有redis實例進(jìn)行bgwrite.

redis-cli -h redis02 -p 6379 bgrewriteaof，
停掉所有redis實例。
處理4k對齊， 重啟機(jī)器。結(jié)果發(fā)現(xiàn)機(jī)器重啟失敗，陣列卡或線松了。
重啟機(jī)器后，趕緊把所有aof文件都備份到其他機(jī)器上。結(jié)果有發(fā)現(xiàn)，有一塊盤丟了，嘗試mount回來。發(fā)現(xiàn)有很多block錯誤，要修復(fù)又怕丟數(shù)據(jù)。但現(xiàn)在盤有錯誤，只能先fsck修復(fù)，如果修復(fù)成功再從里面拷貝出來。要是覺得不保險，就先備份正常盤的數(shù)據(jù)，空出一塊盤，把cache3的盤做個鏡像，再做修復(fù)。最后aof文件終于弄出來了，啟動redis實例，發(fā)現(xiàn)aof文件有問題，啟動失敗。使用redis-check-aof --fix修復(fù)了aof文件，再啟動，成功。redis數(shù)據(jù)是被截斷一部分丟失了。
數(shù)據(jù)恢復(fù)后，開始重新把redis機(jī)器上的ssd盤一個個重新格式化。


三

故障總結(jié)

因為redis的meta信息，是銜接collector采集，以及storm處理和hadoop camus入庫。本次redis故障，大動干戈，對集群影響比較大。
還好collector有redis失敗轉(zhuǎn)存文件的功能，所以日志采集一直正常。
接下來的新機(jī)房，存儲meta的redis準(zhǔn)備使用cluster，避免單點故障。保障可用性。
本文首發(fā)于2021年9月26日。



本文作者：趙 剛（上海新炬王翦團(tuán)隊）

本文來源：“IT那活兒”公眾號


文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/129285.html

相關(guān)文章

  • 講講NoSQL比較火的三個數(shù)據(jù)庫Memcached、Redis、MongoDB

    摘要：而今天主要講用得比較多的三個。支持持久化操作，可以進(jìn)行及數(shù)據(jù)持久化到磁盤，從而進(jìn)行數(shù)據(jù)備份或數(shù)據(jù)恢復(fù)等操作，較好的防止數(shù)據(jù)丟失的手段。單線程請求，所有命令串行執(zhí)行，并發(fā)情況下不需要考慮數(shù)據(jù)一致性問題。 前言 NoSQL，泛指非關(guān)系型的數(shù)據(jù)庫。隨著互聯(lián)網(wǎng)不斷的發(fā)展，傳統(tǒng)的關(guān)系數(shù)據(jù)庫在應(yīng)付新互聯(lián)網(wǎng)模式的網(wǎng)站，特別是超大規(guī)模和高并發(fā)的SNS類型的純動態(tài)網(wǎng)站已經(jīng)顯得力不從心，暴露了很多難以克服...

    Michael_Lin 評論0 收藏0

  • 講講NoSQL比較火的三個數(shù)據(jù)庫Memcached、Redis、MongoDB

    摘要：而今天主要講用得比較多的三個。支持持久化操作，可以進(jìn)行及數(shù)據(jù)持久化到磁盤，從而進(jìn)行數(shù)據(jù)備份或數(shù)據(jù)恢復(fù)等操作，較好的防止數(shù)據(jù)丟失的手段。單線程請求，所有命令串行執(zhí)行，并發(fā)情況下不需要考慮數(shù)據(jù)一致性問題。 前言 NoSQL，泛指非關(guān)系型的數(shù)據(jù)庫。隨著互聯(lián)網(wǎng)不斷的發(fā)展，傳統(tǒng)的關(guān)系數(shù)據(jù)庫在應(yīng)付新互聯(lián)網(wǎng)模式的網(wǎng)站，特別是超大規(guī)模和高并發(fā)的SNS類型的純動態(tài)網(wǎng)站已經(jīng)顯得力不從心，暴露了很多難以克服...

    Lionad-Morotar 評論0 收藏0

  • 講講NoSQL比較火的三個數(shù)據(jù)庫Memcached、Redis、MongoDB

    摘要：而今天主要講用得比較多的三個。支持持久化操作，可以進(jìn)行及數(shù)據(jù)持久化到磁盤，從而進(jìn)行數(shù)據(jù)備份或數(shù)據(jù)恢復(fù)等操作，較好的防止數(shù)據(jù)丟失的手段。單線程請求，所有命令串行執(zhí)行，并發(fā)情況下不需要考慮數(shù)據(jù)一致性問題。 前言 NoSQL，泛指非關(guān)系型的數(shù)據(jù)庫。隨著互聯(lián)網(wǎng)不斷的發(fā)展，傳統(tǒng)的關(guān)系數(shù)據(jù)庫在應(yīng)付新互聯(lián)網(wǎng)模式的網(wǎng)站，特別是超大規(guī)模和高并發(fā)的SNS類型的純動態(tài)網(wǎng)站已經(jīng)顯得力不從心，暴露了很多難以克服...

    szysky 評論0 收藏0

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<