GreenPlum生產(chǎn)環(huán)境SEGMENT節(jié)點(diǎn)擴(kuò)容方案

IT那活兒發(fā)布于2023-01-11 13:19 / 3701人閱讀

點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。?！

Greenplum鏡像策略

grouped方式是將每個(gè)Host的鏡像都放在下一個(gè)host上，所有計(jì)算節(jié)點(diǎn)形成一個(gè)環(huán)。在擴(kuò)展segment時(shí)，要求新增主機(jī)數(shù)量為2的倍數(shù)。

spread方式是將每個(gè)Host的鏡像依次分散到后續(xù)的Segment主機(jī)上。在擴(kuò)展segment時(shí)，要新增主機(jī)數(shù)大于每個(gè)segment上的Primary節(jié)點(diǎn)個(gè)數(shù)。

新增主機(jī)硬件資源

類(lèi)型	建議
操作系統(tǒng)	和原始集群操作系統(tǒng)版本保持一致
CPU	建議和原始集群CPU相同，至少保證性能不低于原始
MEM	建議和原始集群segment上內(nèi)存大小至少保持一致（頻率等）
磁盤(pán)	建議對(duì)新機(jī)器磁盤(pán)做壓力測(cè)試，保證性能不低于原始集群
數(shù)據(jù)目錄名	和原始集群保持一致

集群擴(kuò)展前置工作

1. 新增主機(jī)修改主機(jī)名

vi /etc/hostname

2. 配置/etc/hosts

所有主機(jī)都需要進(jìn)行配置，將新增主機(jī)加入到原始集群。

3. 配置SSH免密

將新增主機(jī)和原始集群中各個(gè)segment和master、standby節(jié)點(diǎn)配置SSH免密。

4. 安裝Greenplum軟件包

4.1 安裝依賴(lài)包

yum -y install rsync coreutils glib2 sysstat e4fsprogs 
xfsprogs ntp readline readline-devel zlib zlib-devel openssl 
openssl-devel pam pam-devel libxml2 libxml2-devel libxslt 
libxslt-devel python python-devel tcl tcl-devel gcc gcc-c++ 
make smartmontools flex flex-devel bison bison-devel bison-
runtime perl perl-devel perl-ExtUtils* OpenIPMI-tools 
openldap openldap-devel logrotate ldapjdk ldapjdk-devel 
libevent libevent-devel libcurl libcurl-devel bzip2 bzip2-
devel bzip2-libs libyml libyml-devel libyaml libyaml-devel 
apr-util-devel apr-devel uuid uuid-devel systemd* cur-devel 
ed python-psutil python-paramiko python-lockfile libssh2 
libss2-devel icu libicu libicu-devel libaio libaio-devel 
libtool isomd5sum isomd5sum-devel liblockfile liblockfile-devel psutils

4.2 關(guān)閉防火墻

systemctl stop firewalld.service
systemctl disable firewalld.service

4.3 創(chuàng)建用戶(hù)和用戶(hù)組

groupadd gpadmin
useradd -g gpadmin gpadmin
passwd gpadmin

4.4 關(guān)閉selinux

vi /etc/selinux/config

修改：SELINUX=disabled

4.5 修改主機(jī)內(nèi)核參數(shù)

建議：和原始集群segment上內(nèi)核參數(shù)保持一致。

4.6 修改用戶(hù)資源限制

cat /etc/security/limit.conf

建議：和原始集群segment上用戶(hù)資源限制保持一致。

4.7 安裝greenplum軟件

yum install -y greenplum-4.3.33.rpm

安裝完畢后，配置環(huán)境變量。

集群擴(kuò)展segment

1. 生成擴(kuò)展配置文件

1）生成主機(jī)列表

編輯文件，保存新增segment主機(jī)名。

內(nèi)容如下：

2）生成擴(kuò)展配置文件

Create database test;
gpexpand -f hosts_file -D test

內(nèi)容如下：

2. 執(zhí)行擴(kuò)展配置

Gpssh -f new_host -e “mkdir -p 
/data/{primary1,primary2,primary3,primary4,primary5,
primary6,mirror1,mirror2,mirror3,mirror4,mirror5,mirror6}”
gpexpand -i gpexpand_inputfile_20200105_124630 -D test

[ gpadmin@master ~]$ gpexpand -f /gp/new_hosts -D test
Would you like to initiate a new System Expansion Yy|Nn (default=N): 你想開(kāi)始一個(gè)新的系統(tǒng)擴(kuò)展？
> y
What type of mirroring strategy would you like? 你使用什么類(lèi)型的鏡像策略？
spread|grouped (default=grouped):
> spread
How many new primary segments per host do you want to add? (default=0): 你想添加多少新的節(jié)點(diǎn)每臺(tái)？
> 0
Enter new primary data directory 1: 新加primary節(jié)點(diǎn)的地址路徑
>
Enter new mirror data directory 1: 新加mirror節(jié)點(diǎn) 的地址路 徑
>

注意：要保證新增segment主機(jī)上的數(shù)據(jù)存儲(chǔ)路徑和原始segment主機(jī)上路徑名相同。

如果出問(wèn)題：

將GP集群，啟動(dòng)到master狀態(tài) gpstart -m；
執(zhí)行g(shù)pextend –rollback；
執(zhí)行 gpstart -a。

3. 檢查新增SEGMENT主機(jī)信息是否寫(xiě)入系統(tǒng)

執(zhí)行SQL：

SELECT * FROM  GP_SEGMENT_CONFIGURATION;

4. 執(zhí)行數(shù)據(jù)重分布

gpexpand -d 60:00:00 -a -n 8 -D test

注意：監(jiān)控主機(jī)資源。

5. 監(jiān)控?cái)?shù)據(jù)沖分布進(jìn)程

通過(guò)內(nèi)置視圖：gp_expand.status、gp_expand.status_detaild、gp_expand. expansion_process，進(jìn)行監(jiān)控。

6. 移除擴(kuò)展模式

在數(shù)據(jù)重分布完成后，及時(shí)將擴(kuò)展模式移除：gpexpand -c -D test。

7. 查看重分布后集群狀態(tài)

gpstate -s

方案缺點(diǎn)

在重分布期間，業(yè)務(wù)無(wú)法訪(fǎng)問(wèn)。在執(zhí)行過(guò)程中，確保無(wú)活動(dòng)的作業(yè)；
在數(shù)據(jù)重分布期間，分布進(jìn)程因資源不足等情況意外宕機(jī)，此時(shí)集群無(wú)法正常提供服務(wù)，需要對(duì)數(shù)據(jù)重分布作業(yè)進(jìn)行回滾；
在重分布過(guò)程，網(wǎng)絡(luò)負(fù)載較高，及時(shí)做好網(wǎng)絡(luò)隔離，避免影響其他業(yè)務(wù)；
由于本次集群數(shù)據(jù)量較大預(yù)估接近（85TB），整個(gè)作業(yè)完成耗時(shí)較久；
建議集群擴(kuò)展節(jié)點(diǎn)之前，對(duì)數(shù)據(jù)進(jìn)行備份，避免意外情況導(dǎo)致數(shù)據(jù)丟失。