點擊上方“IT那活兒”公眾號,關(guān)注后了解更多內(nèi)容,不管IT什么活兒,干就完了?。。?/strong>
OGG簡介
OGG是一種基于日志的結(jié)構(gòu)化數(shù)據(jù)復(fù)制軟件,它通過解析源數(shù)據(jù)庫在線日志或歸檔日志獲得數(shù)據(jù)的增刪改變化(數(shù)據(jù)量只有日志的四分之一左右),其能夠?qū)崿F(xiàn)大量交易數(shù)據(jù)的實時捕捉,變換和投遞,實現(xiàn)源數(shù)據(jù)庫與目標數(shù)據(jù)庫的數(shù)據(jù)同步,保持最少10ms的數(shù)據(jù)延遲。
高可用容災(zāi),數(shù)據(jù)庫遷移、升級(支持跨版本、異構(gòu)數(shù)據(jù)庫、零宕機時間、亞秒級恢復(fù))
實時數(shù)據(jù)集成(支持異構(gòu)數(shù)據(jù)庫、多源數(shù)據(jù)庫)
工作原理圖如下:
OGG相關(guān)進程介紹
GoldenGate主要包含Manager進程、Extract進程、Pump進程、Replicat進程。
2.1 Manager進程
無論是源端還是目標端有且只有一個Manager進程(主要用于啟動、關(guān)閉、監(jiān)控其他進程的健康狀態(tài),報告錯誤事件、分配數(shù)據(jù)存儲空間,發(fā)布閥值報告等)
2.2 Extract進程
數(shù)據(jù)庫源端進程,負責(zé)從源端數(shù)據(jù)表或日志中捕獲數(shù)據(jù),當事務(wù)提交時,所有和該事務(wù)相關(guān)的日志記錄被以事務(wù)為單元順序的記錄到trail文件中。
Extract進程利用其內(nèi)在的checkpoint機制,周期性的記錄其讀寫的位置,實現(xiàn)斷點同步。
Extract有兩種捕獲模式:
傳統(tǒng)模式
Integrated模式(Oracle Goldengate11g版本)
抽取方式:Logminingserver負責(zé)以LCR格式從數(shù)據(jù)庫日志中捕獲數(shù)據(jù)變化,extract進程再將這些數(shù)據(jù)存入trail文件。
2.3 Pump進程(可選)
運行在數(shù)據(jù)庫源端,其作用是將源端產(chǎn)生的本地trail文件,把trail以數(shù)據(jù)塊的形式通過TCP/IP協(xié)議發(fā)送到目標端(主要優(yōu)點就是當目標端或者網(wǎng)絡(luò)失敗,源端的Extract進程不會意外終止),但是如果如果不使用trail文件,那么extract進程在抽取完數(shù)據(jù)以后,直接投遞到目標端,生成遠程trail文件,那么這時候,Pump進程就可以不用配置(存在)了。
2.4 Replicat進程
標端進程,負責(zé)讀取源端傳送到目標端的trail文件中的內(nèi)容,并將其解析為DML或DDL語句,然后應(yīng)用到第三方(數(shù)據(jù)庫,kafka等異構(gòu)平臺)。
傳統(tǒng)模式:基于sql交付,最常用的一種方式。
Integrated模式(OGG12c)
讀取源端傳輸過來的trail 文件;執(zhí)行data數(shù)據(jù)過濾和轉(zhuǎn)換操作;
DML操作:根據(jù)commit順序,構(gòu)造LCR;DDL操作:Replicat進程直接apply;
Replicat通過lightweightstreaming 接口和目標庫后臺進程(Databaseinbound server)建立連接;
部署環(huán)境配置
3.1 源端數(shù)據(jù)庫配置要求
配置歸檔:
altersystem set log_archive_dest_1 =LOCATION=/data/arch scope =spfile;
需要開啟force log 和supplemental log。
alterdatabaseforce logging;
alterdatabaseaddSUPPLEMENTAL log data;
altersystem set enable_goldengate_replication=true scope=both;
altersystem switch logfile;
檢查配置需如下:
selectNAME,OPEN_MODE,FORCE_LOGGING,SUPPLEMENTAL_LOG_DATA_MINfromv$database;
3.2 如果要讓GoldenGate支持DDL操作,還需要額外運行幾個腳本,這些腳本是OGG帶的,在GoldenGate的安裝目錄都可以找到,源端執(zhí)行如下:
@marker_setup.sql
@ddl_setup.sql
@role_setup.sql
@ddl_enable.sql
#目標端&源端
創(chuàng)建OGG安裝用戶(可選,可以用Oracle用戶)
useradd-u 1003 -g oinstall -G dbaogg
passwdogg
#源端
修改安裝用戶環(huán)境變量:
PATH=$PATH:$HOME/.local/bin:$HOME/bin
exportPATH
exportNLS_LANG=AMERICAN_AMERICA.ZHS16GBK
exportORACLE_BASE=/u01/app/oracle
exportORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
exportORACLE_SID=orcl
exportPATH=$PATH:HOME/bin:$ORACLE_HOME/bin
exportGGDATE=/data/ogg/ogg_install
exportLD_LIBRARY_PATH=$ORACLE_HOME/lib
source/home/ogg/.bash_profile
OGG軟件安裝
4.1 創(chuàng)建OGG安裝目錄
mkdir-p /data/ogg
chown-R ogg:oinstall /data/ogg
4.2 解壓安裝
unzip191004_fbo_ggs_Linux_x64_shiphome.zip -d /data/ogg/
cd/data/ogg/fbo_ggs_Linux_x64_shiphome/Disk1/response
4.3 進入解壓后的目錄,修改配置文件中如下參數(shù)
4.4 執(zhí)行靜默安裝
cd/data/ogg/fbo_ggs_Linux_x64_shiphome/Disk1
./runInstaller-silent -responseFile/data/ogg/fbo_ggs_Linux_x64_shiphome/Disk1/response/oggcore.rsp
4.5 進入軟件安裝路徑
./ggsci
源端OGG軟件安裝成功。
4.6 目標端大數(shù)據(jù)OGG軟件安裝
軟件解壓和安裝同源端。
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://systransis.cn/yun/129278.html
摘要:表示科氏和金門資本一直是卓越的合作伙伴,我們?nèi)蛎麊T工對這一里程碑感到十分興奮,因為我們已經(jīng)為下一階段的業(yè)務(wù)增長做好了準備。那就是被收購,作為私募資本,無論還是金門資本,最終尋求的都是一個很好的退出價格。眾所周知,有些企業(yè)天生好斗,而有些就比較佛系,比如傳統(tǒng)企服大廠Infor就是一家比較恬淡的廠商,不僅我們在國內(nèi)較少看到它的消息,甚至是在國外市場中,Infor也是相對比較冷一些的廠商。從某種...
摘要:放棄一個一云即合一的方法,并使用來自不同云提供商的多個服務(wù),提供一系列美國電信巨頭在云計算公司的幫助下,作為一個三年期交易的一部分,據(jù)說超過。關(guān)系數(shù)據(jù)庫在這里待著在企業(yè)中處于更大的云和數(shù)據(jù)復(fù)雜性中關(guān)系數(shù)據(jù)庫的死亡報告已經(jīng)被極大地夸大了,至少在企業(yè)中是這樣的。根據(jù)一項來自Progress Software的新研究,公司最新的年度數(shù)據(jù)連接報告而內(nèi)部部署的關(guān)系報告l SQL Server、MySQ...
當涉及古代神靈和英雄的故事時,很多神話都是有益和有趣的。然而,當一些業(yè)界神話妨礙IT或企業(yè)成功時,那么可能會讓他們感到困擾。因此,一些頑固的錯誤觀念可能會阻礙或延遲采用可能具有生產(chǎn)力的云計算服務(wù)。銀行控股機構(gòu)Capital One公司云計算戰(zhàn)略副總裁Bernard Golden表示:我們?nèi)匀惶幱谠朴嬎愀锩脑缙陔A段,但通過遷移到云平臺可以看到早期采用者所取得的成果。如果未能認識到這場革命的影響,不...
摘要:作者譚峰張文升出版日期年月頁數(shù)頁定價元本書特色中國開源軟件推進聯(lián)盟分會特聘專家撰寫,國內(nèi)多位開源數(shù)據(jù)庫專家鼎力推薦。張文升中國開源軟件推進聯(lián)盟分會核心成員之一。 很高興《PostgreSQL實戰(zhàn)》一書終于出版,本書大體上系統(tǒng)總結(jié)了筆者 PostgreSQL DBA 職業(yè)生涯的經(jīng)驗總結(jié),本書的另一位作者張文升擁有豐富的PostgreSQL運維經(jīng)驗,目前就職于探探科技任首席PostgreS...
閱讀 1357·2023-01-11 13:20
閱讀 1707·2023-01-11 13:20
閱讀 1215·2023-01-11 13:20
閱讀 1906·2023-01-11 13:20
閱讀 4165·2023-01-11 13:20
閱讀 2757·2023-01-11 13:20
閱讀 1402·2023-01-11 13:20
閱讀 3672·2023-01-11 13:20