Gbase資源管理cgroup問題

IT那活兒發(fā)布于2023-01-11 13:20 / 1013人閱讀

Gbase資源管理cgroup問題

一. 報(bào)錯(cuò)概述

近日在創(chuàng)建資源池后日志出現(xiàn)如下gcrecover日志報(bào)錯(cuò).

二. 分析思路

由于是新庫,沒有數(shù)據(jù)再跑,首先排除表數(shù)據(jù)不一致導(dǎo)致的狀態(tài)不正常.

看到日志中有明顯提示該語句可能有問題,且有event事件產(chǎn)生

順著日志思路提示的是激活資源計(jì)劃有問題,接著看資源計(jì)劃,資源池等信息,這些資源池的設(shè)置也沒有問題.

既然資源設(shè)置沒有問題,那說明集群設(shè)置方面是沒有問題的,這時(shí)候就要向主機(jī)的參數(shù)方向去排查問題,翻閱gbase管理員手冊發(fā)現(xiàn)資源管理這項(xiàng):

資源管理功能依托于系統(tǒng)服務(wù) cgroup，在不同的操作間存在 cgroup.

資源管理用的是cgroup,而cgroup是操作系統(tǒng)的一個(gè)組件

因此順著cgroup思路向下查找問題;

使用c3工具查看cgroup狀態(tài),提示cgroup服務(wù)找不到,說明這個(gè)服務(wù)沒有開啟或者安裝

在使用如下命令: systemctl start cgconfig 嘗試啟動(dòng)cgroup,無法啟動(dòng)cgroup服務(wù),說明缺少對應(yīng)的包

使用以下命令查看cgroup依賴包情況:

rpm -qa | grep libcgroup

rpm -qa | grep cgroup

rpm -qa | grep cgconfig

三. 解決方案

經(jīng)分析發(fā)現(xiàn)缺少libcgroup-tools,這是啟動(dòng)cgroup的服務(wù)工具.,使用c3工具全節(jié)點(diǎn)安裝:

cexec all: ‘yum -y install libcgroup-tools’

安裝完成后使用c3工具全節(jié)點(diǎn)啟動(dòng)cgroup服務(wù):

cexec all: ‘systemctl start cgconfig’

啟動(dòng)cgroup服務(wù)后集群狀態(tài)依舊不正常.查看lscgroup的mount狀態(tài),查看/etc/cgconfig.conf配置文件,比對別的正常機(jī)器的/etc/cgconfig.conf 配置文件

有問題機(jī)器的/etc/cgconfig.conf 配置文件

正常機(jī)器的/etc/cgconfig.conf 配置文件

發(fā)現(xiàn)少了一些內(nèi)容,將其補(bǔ)充上去然后執(zhí)行cgclear清除掉默認(rèn)的所有掛載.

依次按步驟停止cgroup服務(wù),啟動(dòng)cgroup服務(wù)

(假若重啟cgroup服務(wù)未發(fā)生變化,可以再嘗試重啟集群服務(wù),再重啟cgroup服務(wù)).

systemctl stop cgconfig

systemctl start cgconfig

這時(shí)候gcadmin發(fā)現(xiàn)修改/etc/cgconfig.conf配置文件的主機(jī)狀態(tài)正常了.

已找到集群狀態(tài)不正常原因, 是由于操作系統(tǒng)安裝時(shí)沒有安裝libconfig 相關(guān)的rpm 包,導(dǎo)致cgroup服務(wù)沒有啟動(dòng),而資源管理功能依托于系統(tǒng)服務(wù) cgroup,在創(chuàng)建資源池后,激活資源計(jì)劃是因系統(tǒng)cgroup服務(wù)未啟動(dòng),導(dǎo)致集群狀態(tài)不正常報(bào)錯(cuò)指向資源計(jì)劃,接下來將正常主機(jī)的/etc/cgconfig.conf 配置文件 scp 到各個(gè)gnode 上.

執(zhí)行 cgclear 后,依次重啟cgroup服務(wù)

systemctl stop cgconfig

systemctl start cgconfig

重啟數(shù)據(jù)節(jié)點(diǎn)cgroup服務(wù)后,集群狀態(tài)已恢復(fù)正常,且event事件也沒有了.