成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

OGG普通抽取模式轉(zhuǎn)換成集成模式遇到的坑

IT那活兒 / 2404人閱讀
OGG普通抽取模式轉(zhuǎn)換成集成模式遇到的坑
點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！?。?/strong>
一

問(wèn)題背景

大數(shù)據(jù)平臺(tái)需要通過(guò)配置OGG抽取進(jìn)程，對(duì)數(shù)據(jù)庫(kù)中壓縮表進(jìn)行抽取投遞，因?yàn)樵寂渲玫腛GG抽取進(jìn)程是普通抽取模式，而普通抽取模式無(wú)法針對(duì)壓縮表進(jìn)行抽取，需要升級(jí)OGG抽取模式從普通模式升級(jí)到集成捕捉模式，因生產(chǎn)環(huán)境按照標(biāo)準(zhǔn)設(shè)定的連接數(shù)是2000，當(dāng)前固定的連接數(shù)一直維持在1800。

1）環(huán)境介紹

  • 數(shù)據(jù)庫(kù)版本：11.2.0.4
  • 操作系統(tǒng)內(nèi)核版本：Red Hat Enterprise Linux Server release 6.10 (Santiago)

  • 數(shù)據(jù)庫(kù)架構(gòu)：11G R2單實(shí)例數(shù)據(jù)庫(kù)

2）環(huán)境依賴

  • 測(cè)試環(huán)境
    數(shù)據(jù)庫(kù)版本：11.2.0.4  oracle數(shù)據(jù)庫(kù)
    OGG版本：12.1.2.1.10

    （此版本支持集成模式，可以抽取壓縮表，版本太低無(wú)法完成壓縮表的抽?。?/span>

  • 生產(chǎn)環(huán)境
    數(shù)據(jù)庫(kù)版本：11.2.0.4  oracle數(shù)據(jù)庫(kù)
    OGG版本：12.1.2.1.10
二

實(shí)際升級(jí)步驟

2.1 源環(huán)境現(xiàn)狀

源環(huán)境有兩組進(jìn)程，一組是普通的抽取模式，一種是集成抽取模式。
因?yàn)镵AFKA進(jìn)程依賴的抽取數(shù)據(jù)和源進(jìn)程有沖突，因此新建了針對(duì)多帶帶特定表的抽取投遞進(jìn)程，普通抽取進(jìn)程（Log Read Checkpoint  Oracle Redo Logs），集成模式抽取進(jìn)程（Log Read Checkpoint  Oracle Integrated Redo Logs）。
集成模式依賴LogMiner的抽取進(jìn)程：

2.2 測(cè)試環(huán)境模擬驗(yàn)證

測(cè)試環(huán)境模式生產(chǎn),兩個(gè)抽取進(jìn)程一個(gè)普通模式，一個(gè)集成模式,可以看到普通模式不會(huì)在數(shù)據(jù)庫(kù)中注冊(cè)進(jìn)程，不會(huì)占用數(shù)據(jù)庫(kù)進(jìn)程數(shù)。
見(jiàn)下圖可以看到集成模式會(huì)在數(shù)據(jù)庫(kù)中注冊(cè)捕獲進(jìn)程，而普通模式不會(huì)，同時(shí)啟動(dòng)集成模式會(huì)占用數(shù)據(jù)庫(kù)連接數(shù)15個(gè)。
2.3 升級(jí)集成模式

2.3.1 升級(jí)抽取進(jìn)程

1）注冊(cè)抽取進(jìn)程
stop EXT_KFK
register EXTRACT EXT_KFK database
2）啟動(dòng)抽取進(jìn)程確保抽取點(diǎn)在注冊(cè)進(jìn)程之后，否則無(wú)法升級(jí)
start EXT_KFK
info EXT_KFK
3）升級(jí)抽取進(jìn)程為集成模式
stop EXT_KFK
alter extract EXT_KFK ,upgrade integrated tranlog
alter extract EXT_KFK ,downgrade tranlog

2.3.2 查看進(jìn)程

可以看到新增抽取進(jìn)程，數(shù)據(jù)庫(kù)會(huì)新增15條左右的連接數(shù)，需要確保連接數(shù)足夠，整體看連接數(shù)是充足的，整個(gè)升級(jí)過(guò)程中未預(yù)見(jiàn)超出預(yù)期的情況。

2.4 正式環(huán)境開(kāi)始實(shí)施

stop EXT_KFK
register EXTRACT EXT_KFK database
start EXT_KFK
stop EXT_KFK
alter extract EXT_KFK ,upgrade integrated tranlog
同樣的操作，當(dāng)執(zhí)行upgrade后：

1）數(shù)據(jù)庫(kù)連接數(shù)飆升

2）OGG 報(bào)ORA-01372錯(cuò)誤

ORA-01372: 用于指定 LogMiner 操作的進(jìn)程數(shù)不足。

3）數(shù)據(jù)庫(kù)alter報(bào)連接數(shù)超限進(jìn)程未再次分配

2.5 回退

因連接限制升級(jí)并非成功，緊急回退：unregister EXTRACT EXT_KFK database。
由于此操作是下班時(shí)間做，系統(tǒng)使用的人少，進(jìn)程超限后未再次分配，使得還有幾個(gè)空閑連接，緊急回退后連接數(shù)告警消除。
三

升級(jí)解決方案

此庫(kù)為1核128G單實(shí)例節(jié)點(diǎn)，DOP=128，由于OGG配置4路并發(fā)導(dǎo)致啟動(dòng)升級(jí)后系統(tǒng)會(huì)形成4*128個(gè)并行進(jìn)程去收集統(tǒng)計(jì)信息。
單實(shí)例數(shù)據(jù)：
ogg并發(fā)配置：

  • 1）增大process值（需要重啟數(shù)據(jù)庫(kù)）

    alter system set processes=3000 scope=spfile;

  • 2）調(diào)整parallelism為1

    TRANLOGOPTIONS INTEGRATEDPARAMS (max_sga_size 2048, parallelism 4)  調(diào)整為
    TRANLOGOPTIONS INTEGRATEDPARAMS (max_sga_size 2048, parallelism 1)；

  • 3）調(diào)整并行度參數(shù)

    調(diào)整parallel_degree_limit,parallel_threads_per_cpu, cpu_count, or parallel_max_servers參數(shù)來(lái)限制并行度。


本文作者：朱澤劍(上海新炬中北團(tuán)隊(duì)）

本文來(lái)源：“IT那活兒”公眾號(hào)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/129128.html

相關(guān)文章

  • OGG Integrated Native DDL簡(jiǎn)單測(cè)試

    OGG Integrated Native DDL簡(jiǎn)單測(cè)試 img{ display:block; margin:0 auto !important; width:100%; } body{ width:75%;...

    IT那活兒 評(píng)論0 收藏1085

  • 重磅重構(gòu)開(kāi)源 讓H5標(biāo)簽代替C++實(shí)時(shí)解碼播放speex壓縮協(xié)議的音頻文件 【IM的福音】

    摘要：編碼結(jié)束后，調(diào)用函數(shù)，來(lái)銷毀和編碼器。調(diào)用函數(shù)對(duì)參數(shù)中的格式音頻數(shù)據(jù)幀進(jìn)行解碼，參數(shù)中存放解碼后的音頻數(shù)據(jù)幀。調(diào)用函數(shù)來(lái)銷毀和解碼器說(shuō)重點(diǎn)當(dāng)做即時(shí)通信產(chǎn)品，像微信這種的手機(jī)端，它們接受到很有可能就是協(xié)議壓縮后的音頻文件。 showImg(https://segmentfault.com/img/bVbtzkh?w=1024&h=682); 這么牛逼的輪子，肯定要美圖鎮(zhèn)樓 Speex是一...

    curried 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<