Redis內(nèi)存告警處理

IT那活兒發(fā)布于2023-01-11 13:19 / 3466人閱讀

Redis內(nèi)存告警處理

點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了??！

關(guān)于Redis的bigkey，阿里Redis開(kāi)發(fā)規(guī)范中有說(shuō)明：拒絕bigkey，防止網(wǎng)卡流量、慢查詢，string類型控制在10KB之內(nèi)，hash、list、set、zset元素個(gè)數(shù)不要超過(guò)5000。

今天我們來(lái)看一個(gè)反例，一個(gè)異常情況下包含千萬(wàn)數(shù)量級(jí)個(gè)元素的list。

某時(shí)某分某值班人員收到告警傳報(bào)，指向某業(yè)務(wù)redis實(shí)例內(nèi)存使用量告警。

登錄智慧運(yùn)維管理平臺(tái)，查看該redis實(shí)例使用內(nèi)存情況，使用內(nèi)存9.95GB超過(guò)閾值。

查看該redis實(shí)例使用內(nèi)存基線數(shù)據(jù)，正常范圍在0.67—2.77GB之間，遠(yuǎn)低于當(dāng)前內(nèi)存使用量9.95GB。

登錄redis主機(jī)，檢查bigkey返回結(jié)果，命令如下：

redis-cli -h  -p  --bigkeys

主要檢查summary部分的信息，發(fā)現(xiàn)該實(shí)例一共有3864814個(gè)key，其中l(wèi)ist類型有1個(gè)key，該key有23322701個(gè)元素。

反饋開(kāi)發(fā)商確認(rèn)該list為重復(fù)投遞產(chǎn)生的垃圾數(shù)據(jù)，申請(qǐng)授權(quán)臨時(shí)UNLINK刪除處理后恢復(fù)正常，目前已更新應(yīng)用程序版本，控制該list元素?cái)?shù)量避免bigkey以徹底解決。

到這里展示了一個(gè)bigkey從發(fā)現(xiàn)到處理的案例，接下來(lái)我們來(lái)看看bigkey到底能給redis帶來(lái)什么危害。

bigkey顧名思義就是value占用內(nèi)存空間大或者元素多的key。

3.1 在Redis中存在兩種類型，字符串類型最大512MB，非字符串類型（例如bash、list、set、zset等）可以存儲(chǔ)大約40億（2^32-1）個(gè)元素，但實(shí)際上如果滿足下面任一情況都可以認(rèn)為是bigkey：

字符串類型，一般認(rèn)為單個(gè)key的value值長(zhǎng)度超過(guò)10KB就是bigkey；
非字符串/集合類型，單個(gè)key的元素個(gè)數(shù)超過(guò)5000就是bigkey；

上述的定義并不絕對(duì)，主要是根據(jù)自己的業(yè)務(wù)場(chǎng)景調(diào)整具體的標(biāo)準(zhǔn)。

3.2 bigkey在redis中存在諸多隱患，有如下幾點(diǎn)：

超時(shí)阻塞：因?yàn)镽edis單線程執(zhí)行命令的特性，操作bigkey等耗時(shí)的操作，都可能阻塞Redis其他業(yè)務(wù)操作，造成慢查詢等性能問(wèn)題；
網(wǎng)絡(luò)擁塞：讀取bigkey意味著需要消耗更多的網(wǎng)絡(luò)流量占用更多的網(wǎng)絡(luò)帶寬，可能造成網(wǎng)絡(luò)擁塞，自身變慢的同時(shí)影響到其他業(yè)務(wù)性能；
過(guò)期刪除：bigkey相關(guān)的刪除或自動(dòng)過(guò)期時(shí)在低版本中容易產(chǎn)生阻塞，主庫(kù)較長(zhǎng)時(shí)間的阻塞可能引發(fā)主備同步中斷或主備切換；
遷移困難：bigkey遷移可能會(huì)失敗而且容易阻塞redis；
內(nèi)存空間不均勻：集群架構(gòu)下某個(gè)數(shù)據(jù)分片的內(nèi)存使用率遠(yuǎn)超其它數(shù)據(jù)分片，無(wú)法使數(shù)據(jù)分片的內(nèi)存資源達(dá)到均衡，不利于集群對(duì)內(nèi)存空間的統(tǒng)一管理；
內(nèi)存空間資源緊張：redis內(nèi)存不斷變大引發(fā)OOM，或達(dá)到maxmemory設(shè)置值引發(fā)寫阻塞或核心key被驅(qū)逐。

3.3 如何發(fā)現(xiàn)redis中的bigkey，有以下幾種方法：

redis-cli自帶的命令，redis-cli -h -p --bigkeys，該命令以遍歷的方式分析redis實(shí)例中的所有key，并返回整體統(tǒng)計(jì)信息和每鐘數(shù)據(jù)類型中最大的key，并不能找出整個(gè)redis中所有的大key；
通過(guò)redis-rdb-tools工具包中的rdb工具分析redis的dump.rdb文件生成csv文件再導(dǎo)入到mysql、Oracle等數(shù)據(jù)庫(kù)中進(jìn)行統(tǒng)計(jì)分析，該工具是離線分析rdb持久化文件對(duì)性能無(wú)影響；
某些公有云的可視化頁(yè)面分析工具，如阿里云redis大key搜索工具等。

因此不管對(duì)于redis的開(kāi)發(fā)還是運(yùn)維人員，bigkey就是一個(gè)不穩(wěn)定因素，時(shí)不時(shí)帶來(lái)穩(wěn)定性風(fēng)險(xiǎn)，使用redis過(guò)程中都應(yīng)該經(jīng)常關(guān)注數(shù)據(jù)中是否有bigkey，及早發(fā)現(xiàn)并處理，避免對(duì)業(yè)務(wù)系統(tǒng)的進(jìn)一步危害。