資訊專欄INFORMATION COLUMN
OceanBase遷移服務(wù)（OceanBaseMigration Service，OMS）是OceanBase提供的一種支持同構(gòu)或異構(gòu)RDBMS與OceanBase之間進(jìn)行數(shù)據(jù)交互的服務(wù)，它提供了數(shù)據(jù)的在線遷移和實(shí)時(shí)增量同步的數(shù)據(jù)復(fù)制能力。上次分享的問題（《oracle遷移Oceanbase數(shù)據(jù)遷移踩坑記（一）》）多在全量遷移階段，這次是續(xù)全量遷移后增量遷移問題填坑過程。為了驗(yàn)證增量同步和回退過程，我們重新發(fā)起了新鏈路的測(cè)試，一開始測(cè)試用戶只有4張表，全量、增量、數(shù)據(jù)校驗(yàn)、反向切換均沒有問題。后來發(fā)起一個(gè)用戶包含430張表的鏈路時(shí)增量反復(fù)出現(xiàn)問題，分析發(fā)現(xiàn)有的表可以實(shí)時(shí)同步，有的表數(shù)據(jù)無(wú)法同步。
現(xiàn)將整個(gè)過程復(fù)現(xiàn)給大家：430張表數(shù)據(jù)導(dǎo)入測(cè)試用戶，發(fā)起新的遷移作業(yè)。
場(chǎng)景復(fù)現(xiàn)：
遷移任務(wù)成功跑通，并沒有報(bào)錯(cuò)，如下圖所示。
1.表結(jié)構(gòu)、全量數(shù)據(jù)成功遷移，源端和目標(biāo)端增量進(jìn)程均已成功啟動(dòng)。
2.增量數(shù)據(jù)顯示已經(jīng)追平。
檢查鏈路監(jiān)控延遲在20S正常范圍。
問題重現(xiàn)：
在Oracle端（源端）的OGG_TEST表中插入數(shù)據(jù)，并提交。
OB端（目標(biāo)端）的OGG_TEST表并沒有更新。
而在Oracle端（源端）的另一張表MAPPING_LIST表中插入數(shù)據(jù)，并提交。
OB端（目標(biāo)端）的MAPPING_LIST發(fā)生更新。
問題分析：
檢查OMS遷移作業(yè)，確認(rèn)未同步表在白名單配置中
登錄OMS主機(jī)，檢查/home/ds/store作業(yè)號(hào)/conf/crawler.cof文件中白名單中有未同步表。
登錄OMS主機(jī)，檢查/home/ds/run/增量鏈路的組件號(hào)/conf/jdbcweiter.conf中也配置過未同步表。
檢查日志/home/ds/store7103/log/store.log中發(fā)現(xiàn)沒有無(wú)法同步數(shù)據(jù)表的信息。
#grepOGG_TEST /home/ds/store7103/log/store.log
輸出同步表的信息情況
#grepenvironment variables /home/ds/store7103/log/store.log
將輸出的表信息與白名單的表進(jìn)行對(duì)比，發(fā)現(xiàn)日志中輸出表被截?cái)?，截?cái)帱c(diǎn)之前的表可以實(shí)時(shí)同步，截?cái)帱c(diǎn)之后的表無(wú)法同步。
白名單：
日志：
問題解決：
問題第一時(shí)間反饋給后端OB研發(fā)，分析定位為OMS平臺(tái)問題，因之前測(cè)試表數(shù)量少?zèng)]有測(cè)試出該缺陷，隨后OB研發(fā)對(duì)于OMS平臺(tái)進(jìn)行了補(bǔ)丁升級(jí)，問題解決。
上次有說OB國(guó)產(chǎn)化數(shù)據(jù)庫(kù)仍在大規(guī)模商業(yè)化的路上，在具體遷移上線的過程中都是摸著石頭過河，OMS數(shù)據(jù)遷移雖然是OB官方提供的ORACLE到OB數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)遷移的平臺(tái)，但完整開放案例不多，很多數(shù)據(jù)遷移操作的具體步驟仍需要各現(xiàn)場(chǎng)根據(jù)自身業(yè)務(wù)場(chǎng)景予以驗(yàn)證測(cè)試，這個(gè)過程會(huì)不斷出現(xiàn)新的問題，現(xiàn)場(chǎng)一是根據(jù)業(yè)務(wù)割接進(jìn)度，盡量想方設(shè)法workaround，另一方面需要及時(shí)反饋OB原廠進(jìn)行產(chǎn)品優(yōu)化和升級(jí)。生態(tài)圈的完善本身也是在不斷碰撞、完善中建立起來的，oracle的生態(tài)花了多少年，我們每個(gè)人都知道，所以，國(guó)產(chǎn)化的進(jìn)程中，我們都要多一份耐心，多一份主動(dòng)，多一份承擔(dān)。這次的分享到此結(jié)束，希望這次分享能幫助到大家。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/130116.html
摘要：年月日，遷移服務(wù)解決方案在城市峰會(huì)中正式發(fā)布。遷移服務(wù)向分布式架構(gòu)升級(jí)的直接路徑基于上述問題和挑戰(zhàn)，同時(shí)經(jīng)過螞蟻十年數(shù)據(jù)庫(kù)架構(gòu)升級(jí)的先進(jìn)經(jīng)驗(yàn)，螞蟻金服為客戶打造了這款一站式數(shù)據(jù)遷移解決方案遷移服務(wù)，簡(jiǎn)稱。 2019年1月4日，OceanBase遷移服務(wù)解決方案在ATEC城市峰會(huì)中正式發(fā)布。螞蟻金服資深技術(shù)專家?guī)熚膮R和技術(shù)專家韓谷悅共同分享了OceanBase遷移服務(wù)的重要特性和業(yè)務(wù)實(shí)踐...
摘要：年月日，遷移服務(wù)解決方案在城市峰會(huì)中正式發(fā)布。遷移服務(wù)向分布式架構(gòu)升級(jí)的直接路徑基于上述問題和挑戰(zhàn)，同時(shí)經(jīng)過螞蟻十年數(shù)據(jù)庫(kù)架構(gòu)升級(jí)的先進(jìn)經(jīng)驗(yàn)，螞蟻金服為客戶打造了這款一站式數(shù)據(jù)遷移解決方案遷移服務(wù)，簡(jiǎn)稱。 2019年1月4日，OceanBase遷移服務(wù)解決方案在ATEC城市峰會(huì)中正式發(fā)布。螞蟻金服資深技術(shù)專家?guī)熚膮R和技術(shù)專家韓谷悅共同分享了OceanBase遷移服務(wù)的重要特性和業(yè)務(wù)實(shí)踐...
摘要：簡(jiǎn)介本文首發(fā)公眾號(hào)一名打字員據(jù)悉，年的月份，螞蟻金服已經(jīng)宣布，螞蟻金服及阿里巴巴自研的關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)支撐起和淘寶的日常業(yè)務(wù)需求，成功替換了之前所采用的單機(jī)數(shù)據(jù)庫(kù)如或者開源的。 簡(jiǎn)介 Tip:本文首發(fā)公眾號(hào)【一名打字員】 據(jù)悉，17年的4月份，螞蟻金服已經(jīng)宣布，螞蟻金服及阿里巴巴自研的關(guān)系型數(shù)據(jù)庫(kù)OceanBase已經(jīng)支撐起Tmall和淘寶的日常業(yè)務(wù)需求，成功替換了之前所采用的單機(jī)數(shù)據(jù)...
閱讀 1356·2023-01-11 13:20
閱讀 1707·2023-01-11 13:20
閱讀 1215·2023-01-11 13:20
閱讀 1906·2023-01-11 13:20
閱讀 4165·2023-01-11 13:20
閱讀 2757·2023-01-11 13:20
閱讀 1402·2023-01-11 13:20
閱讀 3671·2023-01-11 13:20
