資訊專欄INFORMATION COLUMN
OracleGoldenGate產(chǎn)品體系如下：
軟件名稱 | 用途 |
GoldenGate | 一般常用的安裝包，針對(duì)不同平臺(tái)不同類型數(shù)據(jù)庫不同版本有不同的安裝包。安裝后可以配置參數(shù)，啟Mgr、Extract、Replcat進(jìn)程，實(shí)現(xiàn)數(shù)據(jù)鏈路的復(fù)制。 |
GoldenGate Veridata | 數(shù)據(jù)同步比對(duì)工具，將一組數(shù)據(jù)與另一組數(shù)據(jù)進(jìn)行比較，并標(biāo)識(shí)不同步的數(shù)據(jù)，并允許您修復(fù)發(fā)現(xiàn)的所有不同步數(shù)據(jù)。 |
Veridata組件說明
組件名 | 組件說明 |
Veridata Server | 協(xié)調(diào)veridata對(duì)比任務(wù)的執(zhí)行、compare data、COOS、sort row、produce report |
Veridata Web UI | 配置對(duì)比對(duì)象和規(guī)則、initial compare、review status and oos data、repair oos data |
Veridata Repository | 不存儲(chǔ)oos data，可以是oracle、mysql或sqlserver |
Veridata Agent | 和DB交互（hash row for initial compare、 Fetch and update rows to repair out-of-sync data、 Return column-level detail for out-of-sync rows ） |
VeridataCommand-line Utilities | reportutility（查詢加密的oos數(shù)據(jù)和report）、vericom（手工發(fā)指令定義job去執(zhí)行數(shù)據(jù)對(duì)比）、veridata_scripting（創(chuàng)建xml文件來配置veridata，代替使用webui） |
安裝規(guī)劃
1臺(tái)服務(wù)上安裝veridata的所有組件，veridata的agent可以不在源庫或者目標(biāo)庫上，這里和Sever在一起部署。
軟件準(zhǔn)備
軟件項(xiàng)目 | 軟件包 |
配置庫 | oracle11g數(shù)據(jù)庫實(shí)例、字符集UTF8 |
JDK | jdk1.7 |
Fusion Middleware Infrastructure | fmw_12.1.3.0.0_infrastructure.jar |
veridata server | fmw_12.1.3.0.0_ogg.jar |
veridata jagent | fmw_12.1.3.0.0_ogg.jar |
主要安裝步驟如下：
1）準(zhǔn)備好oracle11g數(shù)據(jù)庫實(shí)例veri
2）安裝JDk1.7
3）安裝FusionMiddleware Infrastructure 12c(12.1.3.0)
4）veridataserver安裝
5）veridatajagent的安裝
主要安裝截圖展示：
Veridata Server安裝
Veridata JAgent安裝
按照ConnectionConfiguration ? GroupConfiguration ?comparepair主線配置概念進(jìn)行說明。
配置項(xiàng) | 配置說明 |
連接配置Connection Configuration | 配置agent 到需要對(duì)比的DB的連接。 |
組配置 Group Configuration | 包含一個(gè)或多個(gè)compare pair的邏輯容器。 |
compare pair | 表示一張?jiān)幢砼c一張目標(biāo)表之間的邏輯關(guān)系，包含了需要比較的一張?jiān)幢砼c一張目標(biāo)表，可以進(jìn)一步指定列的映射關(guān)系以及行的子集。 |
profile配置 | 一組全局的參數(shù)設(shè)置。Veridata 提供了一個(gè)dfault profile，也可創(chuàng)建自己的profile，用戶可以根據(jù)需要?jiǎng)?chuàng)建多個(gè)profile，并與任意的job或者compare pair（用于覆蓋job的profile的參數(shù)設(shè)置）關(guān)聯(lián)。 |
job配置 | 為了進(jìn)行比較，必須運(yùn)行一個(gè)作業(yè)。作業(yè)的配置中指定了需要處理的compare pair ，以及運(yùn)行時(shí)的參數(shù)。 在創(chuàng)建作業(yè)之前，需要先創(chuàng)建至少一個(gè)compare group，如果需要定制運(yùn)行時(shí)的參數(shù)設(shè)置，還需要?jiǎng)?chuàng)建至少一個(gè)profile，否則該作業(yè)會(huì)使用系統(tǒng)缺省的profile。）相關(guān)聯(lián)。 |
Veridata數(shù)據(jù)比對(duì)流程
兩階段
1）初始對(duì)比（Initialcomparsion，或者稱為行哈希對(duì)比階段）：
從源和目標(biāo)查詢行（如果格式不一致，會(huì)被自動(dòng)轉(zhuǎn)換成標(biāo)準(zhǔn)化的數(shù)據(jù)類型），
進(jìn)行第一次對(duì)比（PK列的值比較值、非PK列計(jì)算hash后進(jìn)行比較，可以降低網(wǎng)絡(luò)上的傳輸成本（當(dāng)然也可以對(duì)非PK列比較列值，性能會(huì)慢且網(wǎng)絡(luò)開銷大））；第一次compare的不同步的記錄，會(huì)存儲(chǔ)在內(nèi)存中的MOOSqueue中（maybe-out-of-sync）；（因?yàn)槟承┬械臄?shù)據(jù)可能正在被復(fù)制，因此可能只是暫時(shí)有不同）
2）確認(rèn)階段（也稱為COOS（confirm-out-of-sync）階段）：這個(gè)階段從MOSSqueue里取數(shù)據(jù)，對(duì)這些可能不同步（OOS）的數(shù)據(jù)進(jìn)行再次對(duì)比。
第二階段對(duì)比的結(jié)果可能有3種：
In-flight：確認(rèn)階段發(fā)現(xiàn)源和目標(biāo)這些行還是不一樣，而且和第一階段的比較也不一樣，說明第一階段之后這些行又有新的變化了，veridata無法確認(rèn)是否同步；
In-sync：確認(rèn)已經(jīng)同步；
persistentlyout-of-sync：確認(rèn)不同步；
確認(rèn)persistentlyout-of-sync的行保存在文件中(OOSfile, out-of-syncfile，可以是xml、bin等格式，非DB保存，該文件包含了需要選擇這些數(shù)據(jù)進(jìn)行重新同步的所有信息，包括了每張表的元數(shù)據(jù)信息?？梢允褂蒙弦淮蔚腛OS文件作為下一次比較的輸入信息）
第一步，啟動(dòng)veridata服務(wù)器
1）啟動(dòng)veridata的數(shù)據(jù)庫和監(jiān)聽
2）啟動(dòng)weblogic中間件
3）啟動(dòng)veridata管理服務(wù)器
4）配置agent的jdbc連接，并啟動(dòng)代理agent服務(wù)進(jìn)程
5）登陸veridata平臺(tái)
地 址：http://XX.XX.XX.XX:8830/veridata
第二步，veridata的配置使用
1）確認(rèn)需要比對(duì)的表
2） 配置過程
按照ConnectionConfiguration ? Group Configuration ?compare pair主線配置。
第1步：連接配置
第2步：組配置
第3步：組參數(shù)配置comparepair添加
第4步：profile配置
第5步：job配置
第6步：運(yùn)行比對(duì)作業(yè)job
第7步：查看報(bào)告
3） 對(duì)比結(jié)果處理
第1步：對(duì)比作業(yè)使用的配置文件核查
第2步：生成的比對(duì)報(bào)告結(jié)果及文件位置
第三步：比對(duì)結(jié)果確認(rèn)與評(píng)估
比對(duì)完成后針對(duì)不一致的記錄，可以選中，直接點(diǎn)擊RunRepair執(zhí)行repairpair對(duì)目標(biāo)端不一致數(shù)據(jù)表進(jìn)行修復(fù)。修復(fù)后再次比對(duì)表的數(shù)據(jù)一致性就發(fā)現(xiàn)已經(jīng)一致了。
在日常的數(shù)據(jù)庫運(yùn)維及數(shù)據(jù)遷移工作中，數(shù)據(jù)比對(duì)驗(yàn)證的方法有很多，除去手工比對(duì)方法之外，使用Veridata工具進(jìn)行嘗試也是一個(gè)不錯(cuò)的選擇。
OracleGoldenGate Veridata作為一個(gè)獨(dú)立的產(chǎn)品，是一種高性能的數(shù)據(jù)對(duì)比解決方案，對(duì)在兩個(gè)數(shù)據(jù)庫之間進(jìn)行數(shù)據(jù)復(fù)制時(shí)可能存在的差異進(jìn)行確認(rèn)和報(bào)告。
GoldenGate Veridata在兩端數(shù)據(jù)庫保持在線的情況下進(jìn)行數(shù)據(jù)對(duì)比。數(shù)據(jù)一致性在數(shù)據(jù)遷移和數(shù)據(jù)同步的場(chǎng)景下是最關(guān)鍵的重要環(huán)節(jié)，而Veridata就可以解決大部分我們對(duì)數(shù)據(jù)一致性的剛性需求。
大部分Oracle DBA都會(huì)遇到場(chǎng)景：
場(chǎng)景 | 需求 | Veridata的作用 |
OGG數(shù)據(jù)同步 | 在OGG的日常維護(hù)中，經(jīng)常遇到因?yàn)樵春湍繕?biāo)的數(shù)據(jù)不一致而導(dǎo)致進(jìn)程復(fù)制進(jìn)程abend(或者異常discardfile或者入異常記錄表)，如果有工具能驗(yàn)證數(shù)據(jù)一致性并修正數(shù)據(jù)該多好??？ | Veridata可以在源庫和目標(biāo)庫之間比對(duì)數(shù)據(jù)并修復(fù)不一致的數(shù)據(jù)。 |
數(shù)據(jù)庫遷移 | 根據(jù)業(yè)務(wù)需要，需要將數(shù)據(jù)從A庫遷移到B庫，如何保證業(yè)務(wù)遷移前后，數(shù)據(jù)庫A和數(shù)據(jù)庫B的數(shù)據(jù)完全無誤？ | Veridata作為權(quán)威的第三方工具，可以出報(bào)表說明哪些表的數(shù)據(jù)是否一致 |
數(shù)據(jù)庫升級(jí) | 根據(jù)升級(jí)需要，業(yè)務(wù)系統(tǒng)需要升級(jí)，如何保證備份數(shù)據(jù)和升級(jí)數(shù)據(jù)一致性？ | Veridata快速校驗(yàn)數(shù)據(jù)是否一致 |
Veridata技術(shù)特點(diǎn)
1）易于使用、高性能且侵入性極低的產(chǎn)品，可用戶管理數(shù)據(jù)一致性。
2）比較包含大量數(shù)據(jù)的數(shù)據(jù)庫
3）在線比較數(shù)據(jù)不斷變化的數(shù)據(jù)庫
4）消耗的資源低
5）配置使用靈活，功能強(qiáng)大
6）選擇性、并行比較
7）異構(gòu)性：可以支持不同數(shù)據(jù)庫之間的compare
8）性能：大約十幾M-幾十M/秒；
9）對(duì)在線的支持：veridata可以脫離ogg運(yùn)行環(huán)境
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/129997.html
OGG Integrated Native DDL簡(jiǎn)單測(cè)試 img{ display:block; margin:0 auto !important; width:100%; } body{ width:75%;...
摘要：如果你想了解更多關(guān)于的知識(shí)，可以訪問以獲得更多的元素。如果用戶代理不支持指定的類型，那么這個(gè)元素會(huì)被跳過。 想閱讀更多優(yōu)質(zhì)文章請(qǐng)猛戳GitHub博客,一年百來篇優(yōu)質(zhì)文章等著你！ 我聽過 HTML很容易 這種情緒的次數(shù)比我想象的要多。 雖然我同意 HTML 可能比其他編程語言更容易學(xué)習(xí)，但你不應(yīng)該認(rèn)為它是理所當(dāng)然的。 HTML 是一種功能強(qiáng)大的標(biāo)記語言，可用于為我們的 web 應(yīng)用程序提...
摘要：如果你想了解更多關(guān)于的知識(shí)，可以訪問以獲得更多的元素。如果用戶代理不支持指定的類型，那么這個(gè)元素會(huì)被跳過。 想閱讀更多優(yōu)質(zhì)文章請(qǐng)猛戳GitHub博客,一年百來篇優(yōu)質(zhì)文章等著你！ 我聽過 HTML很容易 這種情緒的次數(shù)比我想象的要多。 雖然我同意 HTML 可能比其他編程語言更容易學(xué)習(xí)，但你不應(yīng)該認(rèn)為它是理所當(dāng)然的。 HTML 是一種功能強(qiáng)大的標(biāo)記語言，可用于為我們的 web 應(yīng)用程序提...
摘要：尤其是喬布斯在年發(fā)布的一篇的文章。喬布斯在里面寫下了關(guān)于的一點(diǎn)看法，說明自己為什么不使用，談到關(guān)于的一些問題，比如開放性，安全性，對(duì)于設(shè)備續(xù)航的影響，不利于觸摸屏，等等。終于，于年月日，爸爸也放棄治療了，宣布將于年正式退休。 今天為大家分享一下html5中的視頻（video）與音頻（audio）。在進(jìn)入主題之前我們先了解一下Flash與html5這兩種技術(shù)的時(shí)代背景與發(fā)展歷史。 1.前...
閱讀 1356·2023-01-11 13:20
閱讀 1707·2023-01-11 13:20
閱讀 1215·2023-01-11 13:20
閱讀 1906·2023-01-11 13:20
閱讀 4165·2023-01-11 13:20
閱讀 2757·2023-01-11 13:20
閱讀 1402·2023-01-11 13:20
閱讀 3671·2023-01-11 13:20
