成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

Linux環(huán)境下Greenplum數(shù)據(jù)庫安裝與維護

IT那活兒 / 814人閱讀
Linux環(huán)境下Greenplum數(shù)據(jù)庫安裝與維護
一. greenplum簡介

GreenPlum（本文簡稱gp）是面向數(shù)據(jù)倉庫應(yīng)用的關(guān)系型數(shù)據(jù)庫，GreenPlum的主要特點是查詢速度快、數(shù)據(jù)裝載速度快、批量DML處理快、性能可以隨著硬件的添加呈線性增加、擁有非常良好的課擴展性。GreenPlum基于PostgreSQL開發(fā)，跟PostgreSQL的兼容性非常好，大部分PostgreSQL客戶端工具及PostgreSQL應(yīng)用都能運行在GreenPlum平臺上。想要學(xué)習(xí)GreenPlum，可以先看一看PostgreSQL的資料。本文主要簡述在CentOS 7.6安裝Greenplum（5.10.2）的主要步驟。


二. 安裝前的準(zhǔn)備工作

1. 修改內(nèi)核參數(shù)

sysctl命令被用于在內(nèi)核運行時動態(tài)地修改內(nèi)核的運行參數(shù)，可用的內(nèi)核參數(shù)在目錄/proc/sys中。它包含一些TCP/IP堆棧和虛擬內(nèi)存系統(tǒng)的高級選項， 這可以讓有經(jīng)驗的管理員提高引人注目的系統(tǒng)性能。用sysctl可以讀取設(shè)置超過五百個系統(tǒng)變量。以下為/etc/sysctl.conf的推薦配置，供參考：

kernel.shmmax = 500000000
kernel.shmmni = 4096
kernel.shmall = 4000000000
kernel.sem = 250 512000 100 2048
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.overcommit_memory = 2

Linux資源限制配置文件是/etc/security/limits.conf；限制用戶進程的數(shù)量對于linux系統(tǒng)的穩(wěn)定性非常重要。limits.conf文件限制著用戶可以使用的最大文件數(shù)，最大線程，最大內(nèi)存等資源使用量。以下為limits.conf的推薦設(shè)置，供大家參考：

 *  soft nofile  65536 
 *  hard nofile  65536 
 *  soft nproc  131072
 *  hard nproc  131072

2. 創(chuàng)建gpadmin用戶

gp 的安裝部署均在gpadmin用戶下進行操作，所以在root 用戶下執(zhí)行用戶創(chuàng)建命令：

·useradd gpadmin   #添加gpadmin用戶
passwd gpadmin   #給gpadmin用戶設(shè)置密碼

三. 安裝步驟

1) 上傳安裝包并安裝Greenplum

本例用的是greenplum-db-5.10.2-rhel7-x86_64.rpm安裝包，先上傳至服務(wù)器，新建數(shù)據(jù)庫安裝目錄：/home/greenplum，執(zhí)行以下rpm安裝命令，安裝后的目錄為：/home/greenplum/greenplum-db，切換到用戶gpadmin(su - gpadmin )，后續(xù)的命令都在該用戶下執(zhí)行。下面用rpm命令初始化安裝：

rpm -ivh  --prefix=/home/greenplum   greenplum-db-5.10.2-rhel7-x86_64.rpm

2) 修改參數(shù)配置

在/home/greenplum/greenplum-db 中 新建并寫入文件seg_hosts和hostlist， 寫入內(nèi)容為主機名bigdata-01，主機名可以通過執(zhí)行hostname獲得

3) 使用gpssh-exkeys將所有機器通道打開

執(zhí)行以下命令：

cd /home/greenplum/greenplum-db
./bin/gpssh-exkeys  -f   ./hostlist

4) 新建數(shù)據(jù)目錄

首先進入安裝目錄

cd  /home/greenplum/greenplum-db

創(chuàng)建數(shù)據(jù)存放目錄

mkdir gpdata
cd  /home/greenplum/greenplum-db/gpdata
mkdir  gpmaster gpdatap1  gpdatap2  gpdatam1  gpdatam2

將 ~/greenplum-db/docs/cli_help/gpconfigs/gpinitsystem_config拷貝為~/greenplum-db/initgp_config，執(zhí)行以下命令：

cp  /home/greenplum/greenplum-db/docs/cli_help/gpconfigs/gpinitsystem_config  /home/greenplum/greenplum-db/initgp_config

5) 環(huán)境變量設(shè)置

修改~/.bashrc，  注意當(dāng)前操作用戶為gpadmin，在 /home/gpadmin 下執(zhí)行：vi .bashrc，在文件中添加：

source   /home/greenplum/greenplum-db/greenplum_path.sh
export   LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/greenplum/greenplum-db/lib
export   GPHOME=/home/greenplum/greenplum-db
export   MASTER_DATA_DIRECTORY=/home/greenplum/greenplum-db/gpdata/gpmaster/gpseg-1
然后令其生效：source  .bashrc

6) 創(chuàng)建初始化文件

新建一個initgp_config文件作為gp的初始化配置文件，文件目錄可以為greenplum-db目錄，文件中的主要配置如下，供參考：

declare -a DATA_DIRECTORY=(/home/greenplum/greenplum-db/gpdata/gpdatap1  /home/greenplum/greenplum-db/gpdata/gpdatap2)

MASTER_HOSTNAME=bigdata-01
MASTER_DIRECTORY=/home/greenplum/greenplum-db/gpdata/gpmaster
ENCODING=utf-8
declare -a MIRROR_DATA_DIRECTORY=(/home/greenplum/greenplum-db/gpdata/gpdatam1  /home/greenplum/greenplum-db/gpdata/gpdatam2)
MACHINE_LIST_FILE=/home/greenplum/greenplum-db/seg_hosts

紅字為需要修改及特別留意的配置項

7) 運行數(shù)據(jù)庫

/home/greenplum/greenplum-db/bin/gpseginstall -f  /home/greenplum/greenplum-db/hostlist -u  gpadmin  -p  前面設(shè)置的密碼

執(zhí)行完后繼續(xù)執(zhí)行：

/home/greenplum/greenplum-db/bin/gpinitsystem -c   /home/greenplum/greenplum-db/initgp_config 

當(dāng)顯示的結(jié)果中有，“Greenplum Database instance successfully created”即安裝成功，

可以使用psql -p 2345 -d postgres進行訪問。


四. 日常維護命令

以下是gp數(shù)據(jù)庫啟動、停止、查看服務(wù)狀態(tài)、查詢進程等相關(guān)命令：

su – gpadmin   #進入gpadmin用戶
gpstart         #啟動服務(wù)
gpstop -M fast  #快速停止服務(wù)
gpstate -s      # 查看狀態(tài)
ps -ef|grep Greenplum # 查看數(shù)據(jù)庫進程

備份數(shù)據(jù)腳本如下：
pg_dump -U user  database -t tablename -f dump.sql 

導(dǎo)入數(shù)據(jù)腳本如下：
createdb -U user database  #如果沒有用戶首先創(chuàng)建用戶
psql -U user -d database -f dump.sql 


五. gp無法遠程訪問解決方案

如果發(fā)現(xiàn)無法通過IP去訪問數(shù)據(jù)庫，則可能該數(shù)據(jù)庫默認只能通過本地連接，也就是回環(huán)地址(127.0.0.1)，可以修改安裝目錄下的datapg_hba.conf,在配置文件最后有IPV4和IPV6的配置,新增一行(這里我用的IPV4,開放所有IP)，具體配置可以參考下圖：

0.0.0.0/0 表示全部IP地址都合法,合法的IP地址即可


六. 總結(jié)

關(guān)于Greenplum集群安裝部署的教程很多，數(shù)據(jù)庫的編譯安裝可以參照gp的Github官網(wǎng)教程, 系統(tǒng)的前期配置和完整教程可參考教程，該教程成功率較高。由于Greenplum的版本不斷在更新，按照原來眾多博主寫的教程安裝還是會踩很多坑，本文總結(jié)此次安裝Greenplum所踩過的坑及解決方案，希望對大家有所幫助。

Greenplum安裝主要是一些細節(jié)不注意的問題，遇到報錯，認真讀報錯信息，缺依賴裝依賴，版本過低就升級，重要的是細心就行。


END


更多精彩干貨分享

點擊下方名片關(guān)注

IT那活兒

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/129808.html

相關(guān)文章

  • centos7.3下 greenplum-db 安裝、配置文檔

    摘要：下安裝配置文檔一系統(tǒng)要求系統(tǒng)版本要求根據(jù)官方文檔支持以下幾種系統(tǒng)文件系統(tǒng)要求數(shù)據(jù)存儲目錄為文件系統(tǒng)二下安裝服務(wù)器列表主節(jié)點數(shù)據(jù)節(jié)點數(shù)據(jù)節(jié)點主節(jié)點切換備用節(jié)點修改系統(tǒng)配置項關(guān)閉關(guān)閉防火墻修改內(nèi)核配置參數(shù)并執(zhí)行使之生 centos7.3下 greenplum-db 安裝、配置文檔 一.系統(tǒng)要求 1.系統(tǒng)版本要求:根據(jù)官方文檔： greenplumd-b支持以下幾種linux系統(tǒng): ...

    neuSnail 評論0 收藏0

  • 構(gòu)建可擴展的PostgreSQL解決方案

    摘要：這可以通過負載平衡來實現(xiàn)數(shù)據(jù)分片當(dāng)問題不是并發(fā)查詢的數(shù)量，而是數(shù)據(jù)庫的大小和單個查詢的速度時，可以實現(xiàn)不同的方法。 showImg(https://segmentfault.com/img/remote/1460000018875091); 來源 | 愿碼(ChainDesk.CN)內(nèi)容編輯 愿碼Slogan | 連接每個程序員的故事 網(wǎng)站 | http://chaindesk.cn...

    jonh_felix 評論0 收藏0

  • 構(gòu)建可擴展的PostgreSQL解決方案

    摘要：這可以通過負載平衡來實現(xiàn)數(shù)據(jù)分片當(dāng)問題不是并發(fā)查詢的數(shù)量，而是數(shù)據(jù)庫的大小和單個查詢的速度時，可以實現(xiàn)不同的方法。 showImg(https://segmentfault.com/img/remote/1460000018875091); 來源 | 愿碼(ChainDesk.CN)內(nèi)容編輯 愿碼Slogan | 連接每個程序員的故事 網(wǎng)站 | http://chaindesk.cn...

    FrozenMap 評論0 收藏0

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<