資訊專欄INFORMATION COLUMN
OceanBase遷移服務(wù)（OceanBaseMigration Service，OMS）是螞蟻OceanBase提供的一種支持同構(gòu)或異構(gòu)RDBMS與OceanBase之間進(jìn)行數(shù)據(jù)交互的服務(wù)，它提供了數(shù)據(jù)在線遷移和實時增量同步的數(shù)據(jù)復(fù)制能力。
小伙伴們應(yīng)該還記得上次分享了OMS遷移過程中增量同步因為白名單被截斷而導(dǎo)致的問題吧，通過更新OMS補(bǔ)丁后已經(jīng)解決。但一套完整的割接上線方案不僅能夠滿足正向同步機(jī)制，反向同步也是割接回退方案中不可缺少的步驟。因此，這幾天集中火力對反向同步測試進(jìn)行了炮火攻擊，在即將大戰(zhàn)告捷之時突然發(fā)現(xiàn)反向增量同步因白名單配置表太多出現(xiàn)Bug導(dǎo)致同步失敗。
通過對日志分析及與阿里工程師交涉得知反向白名單配置超過3200張表時會報錯，解決該問題需要更新OMS補(bǔ)丁。解決方案:配置黑名單減少同步對象數(shù)量，這種方式不符合實現(xiàn)需求。另一種方式就是創(chuàng)建多條鏈路進(jìn)行反向同步，鏈路增加會增加后續(xù)維護(hù)難度，但是在出現(xiàn)同步異常時只需要修復(fù)故障鏈路即可，下面就帶領(lǐng)大家一起體會下整個反向同步過程。
場景環(huán)境信息:430張配置表數(shù)據(jù)從oracle端實時同步到ob端，其他約3600張業(yè)務(wù)數(shù)據(jù)表需要從ob端實時同步到oracle端。根據(jù)報錯場景將業(yè)務(wù)用戶下的表都進(jìn)行反向同步。
場景配置
需要配置反向鏈路，反向鏈路配置方式是通過正向鏈路方式先將表結(jié)構(gòu)遷移，在ob端去掉oms創(chuàng)建的隱藏約束，跳過一部分遷移任務(wù)，然后切換為反向鏈路，在這里我先不詳細(xì)講解了，后續(xù)我會在多帶帶章節(jié)為大家介紹配置過程。
配置多帶帶遷移任務(wù)遷移表結(jié)構(gòu)，如果已經(jīng)存在表遷移表結(jié)構(gòu)過程中會報錯并跳過
圖1：配置遷移表結(jié)構(gòu)的遷移任務(wù)的數(shù)據(jù)源
圖2：配置需要遷移表結(jié)構(gòu)的表
圖3：運行遷移任務(wù)的檢查和結(jié)構(gòu)遷移
圖4：查看結(jié)構(gòu)遷移的表結(jié)構(gòu)遷移子任務(wù)
圖5：在OB端檢查失敗任務(wù)表是以前存在的表
2.結(jié)構(gòu)遷移完檢查鏈路沒有發(fā)起可以直接刪除這個臨時任務(wù)
圖6：檢查監(jiān)控沒有發(fā)起鏈路
圖7：檢查沒有鏈路之后可以直接刪除這個遷移任務(wù)
3.ob端刪除需要反向同步的表的隱藏約束
圖8：需要刪除的是oms遷移過程中創(chuàng)建的UK隱藏約束
圖9：刪除隱藏約束語句
4.創(chuàng)建正向遷移任務(wù)，在配置白名單的時候因為表數(shù)量太多不好勾選，可以隨便選擇兩張表創(chuàng)建上任務(wù)，后續(xù)修改參數(shù)
圖10：創(chuàng)建遷移任務(wù)，配置數(shù)據(jù)源
圖11：白名單隨便選擇兩個表，后續(xù)修改參數(shù)
5.需要在遷移任務(wù)開始之前修改三個參數(shù)，配置白名單
圖12：執(zhí)行遷移任務(wù)之前修改參數(shù)
圖13：需要修改3個參數(shù)之二，dest_drc_wlist、forward_white_list
圖14：需要修改3個參數(shù)之一，source_drc_wlist
問題復(fù)現(xiàn)
問題重現(xiàn)點：按照反向鏈路配置方法執(zhí)行遷移任務(wù)（需要手工跳過很多正向遷移中的任務(wù)），會在DRC進(jìn)程處報錯
圖15：報錯現(xiàn)象
問題定位分析
日志查看：
圖16：前臺日志顯示
圖17：前臺日志并不能分析出原因，查看后臺日志
可以看出因為白名單太長導(dǎo)致。
先清理報錯任務(wù)，檢查鏈路情況，執(zhí)行清理任務(wù)，復(fù)檢鏈路清理成功
圖18:查看監(jiān)控鏈路情況
圖19:執(zhí)行清理任務(wù)
圖20:再檢查下鏈路被清理了
清理干凈后重置遷移任務(wù)，然后再創(chuàng)建一個遷移任務(wù)，將白名單分成兩部分創(chuàng)建兩條鏈路，修改參數(shù)
圖21:如果不新建任務(wù)可以重置當(dāng)前的遷移任務(wù)
圖22:查看遷移任務(wù)狀態(tài)已經(jīng)清空
圖23:重新修改參數(shù)，將表數(shù)量分成兩批，每批不超過3200張，以下展示的是配置的第一批，第二批與第一批操作一致就不多帶帶展示
圖24:重新執(zhí)行任務(wù)正常執(zhí)行
按照反向鏈路配置方法配置，執(zhí)行切換作業(yè)之后，反向同步鏈路就創(chuàng)建完成了
圖25:發(fā)起切換任務(wù)
驗證同步
查看OB端（目標(biāo)端）與Oracle端（源端）的OGG_TEST表數(shù)據(jù)量（不一定一致，可以ob沒數(shù)據(jù)，oracle有數(shù)據(jù)，ob新增數(shù)據(jù)實時同步回oracle，我這里ogg_test數(shù)據(jù)前期同步過）
圖26:ob側(cè)檢查測試表數(shù)據(jù)量
圖27:oracle側(cè)檢查測試表數(shù)據(jù)量
圖28：在OB端（目標(biāo)端）的OGG_TEST表中插入數(shù)據(jù)，并提交
圖29：查看oracle端
反向?qū)崟r同步已經(jīng)發(fā)起
在OB推行數(shù)據(jù)庫商業(yè)化的過程中會存在各種各樣的問題，需要我們大家協(xié)同發(fā)現(xiàn)問題，分析問題，解決問題。只有這樣才能打造一款堅實的國產(chǎn)化產(chǎn)品。國產(chǎn)化必將是未來幾年國內(nèi)各行各業(yè)經(jīng)濟(jì)和技術(shù)革新的一個趨勢。因此，基于近一段時間的問題及時反饋、及時分析、及時修復(fù)，OMS已經(jīng)更加趨于完善和健壯了。這樣，也使得我們使用人員對于OB產(chǎn)品更加有信心，生態(tài)圈的完善本身也是在不斷碰撞、不停的修繕中完善的。希望今天我們踩過的坑都將成為OB產(chǎn)品演進(jìn)過程中的寶貴知識財富，后續(xù)的同仁在推行OB國產(chǎn)化道路上也可以盡可能的少走一些彎路。這次的分享到此結(jié)束，希望這次分享能幫助到大家。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/130096.html
摘要：年月日，遷移服務(wù)解決方案在城市峰會中正式發(fā)布。遷移服務(wù)向分布式架構(gòu)升級的直接路徑基于上述問題和挑戰(zhàn)，同時經(jīng)過螞蟻十年數(shù)據(jù)庫架構(gòu)升級的先進(jìn)經(jīng)驗，螞蟻金服為客戶打造了這款一站式數(shù)據(jù)遷移解決方案遷移服務(wù)，簡稱。 2019年1月4日，OceanBase遷移服務(wù)解決方案在ATEC城市峰會中正式發(fā)布。螞蟻金服資深技術(shù)專家?guī)熚膮R和技術(shù)專家韓谷悅共同分享了OceanBase遷移服務(wù)的重要特性和業(yè)務(wù)實踐...
摘要：年月日，遷移服務(wù)解決方案在城市峰會中正式發(fā)布。遷移服務(wù)向分布式架構(gòu)升級的直接路徑基于上述問題和挑戰(zhàn)，同時經(jīng)過螞蟻十年數(shù)據(jù)庫架構(gòu)升級的先進(jìn)經(jīng)驗，螞蟻金服為客戶打造了這款一站式數(shù)據(jù)遷移解決方案遷移服務(wù)，簡稱。 2019年1月4日，OceanBase遷移服務(wù)解決方案在ATEC城市峰會中正式發(fā)布。螞蟻金服資深技術(shù)專家?guī)熚膮R和技術(shù)專家韓谷悅共同分享了OceanBase遷移服務(wù)的重要特性和業(yè)務(wù)實踐...
摘要：作為阿里云大數(shù)據(jù)旗艦產(chǎn)品，的級別性能處理達(dá)到了全球領(lǐng)先性，被評為全球云端數(shù)據(jù)倉庫領(lǐng)導(dǎo)者。天弘基金天弘基金旗下的余額寶，是中國規(guī)模最大的貨幣基金。場景二阿里云產(chǎn)品消費賬單分析準(zhǔn)備工作完成案例中準(zhǔn)備工作步驟。 摘要： 一、 MaxCompute是什么 你的OSS數(shù)據(jù)是否作堆積在一旁沉睡已久存儲成本變?yōu)槠髽I(yè)負(fù)擔(dān)你是否想喚醒沉睡的數(shù)據(jù)驅(qū)動你的業(yè)務(wù)前行MaxCompute可以幫助你高效且低成本的...
摘要：數(shù)據(jù)遷移，主要利用阿里云數(shù)據(jù)傳輸服務(wù)的數(shù)據(jù)遷移能力，涉及到全量遷移增量遷移一致性校驗及反向任務(wù)。小結(jié)通過周密的遷移方案設(shè)計，以及強(qiáng)大的數(shù)據(jù)遷移工具的能力，閑魚商品庫順利完成億在線數(shù)據(jù)庫服務(wù)遷移，獨立的物理部署顯著提升商品庫在線服務(wù)的穩(wěn)定性。 背景 在系統(tǒng)的快速迭代過程中，業(yè)務(wù)系統(tǒng)往往部署在同一個物理庫，沒有做核心數(shù)據(jù)和非核心數(shù)據(jù)的物理隔離。隨著數(shù)據(jù)量的擴(kuò)大這種情況會帶來穩(wěn)定性的風(fēng)險，如...
隨著數(shù)據(jù)量的增長、數(shù)據(jù)來源途徑的多元化，企業(yè)用戶需要考慮到私有云與公有云數(shù)據(jù)存儲的統(tǒng)一性管理，從而隨時隨地能夠從數(shù)據(jù)存儲平臺上獲得用戶所需要的數(shù)據(jù)，為業(yè)務(wù)創(chuàng)新帶來敏捷的數(shù)據(jù)價值。當(dāng)前行業(yè)用戶對混合云的需求越發(fā)明顯，云廠商也是不斷推動混合云解決方案在百行百業(yè)中的深入發(fā)展，從而，讓混合云與以軟件定義為主導(dǎo)的存儲顯得越來越密不可分。因而，就帶來了一個重要的混合云治理話題：混合云架構(gòu)下，如何讓數(shù)據(jù)存儲無邊...
閱讀 1356·2023-01-11 13:20
閱讀 1707·2023-01-11 13:20
閱讀 1215·2023-01-11 13:20
閱讀 1906·2023-01-11 13:20
閱讀 4165·2023-01-11 13:20
閱讀 2757·2023-01-11 13:20
閱讀 1402·2023-01-11 13:20
閱讀 3671·2023-01-11 13:20
