問題背景
某核心資源系統(tǒng)業(yè)務(wù)2021年遷移到國產(chǎn)數(shù)據(jù)庫OceanBase最早使用的版本是OceanBase 2.2.76,因OceanBase次版本不支持split partition功能只能順序的add分區(qū),每次添加拆分分區(qū)操作都是先刪除max分區(qū)然后add partition,在把max分區(qū)也add上,但是這種添加分區(qū)的方式不適合復(fù)合分區(qū)的情況,列入region+時間的復(fù)合RANGE分區(qū),分區(qū)里有多個部分地市的max分區(qū)。
這樣就不能通過刪除中間的max分區(qū)在add分區(qū)了,為此在遷移前oracle庫提前拆到2022年全年的分區(qū),遷移到ob庫不用在處理分區(qū),現(xiàn)在到了22年年底需要添加新的分區(qū)保障業(yè)務(wù)正常運行,OceanBase開發(fā)了新版本支持復(fù)合分區(qū)的add分區(qū)功能,此版本包括OceanBase 2.2.77(OceanBase 2.0的最終版本)和OceanBase 3.2.3.2,在新版本的測試環(huán)境測試驗證分區(qū)的add功能。測試步驟如下,希望能有參考意義。
解釋:
分區(qū)技術(shù)(Partitioning)是 OceanBase 非常重要的分布式能力之一,它能解決大表的容量問題和高并發(fā)訪問時的性能問題,主要思想就是將大表拆分為更多更小的結(jié)構(gòu)相同的獨立對象,即分區(qū)。普通的表只有一個分區(qū),可以看作分區(qū)表的特例。每個分區(qū)只能存在于一個節(jié)點內(nèi)部,分區(qū)表的不同分區(qū)可以分散在不同節(jié)點上。
測試過程
用ROOT租戶進(jìn)入查看 _enable_add_between_range_partitions參數(shù),默認(rèn)狀態(tài)為FALSE,使用如下語句:
select b.tenant_name,a.* from
__all_virtual_tenant_parameter_info a,__all_tenant b where
name = _enable_add_between_range_partitions and
b.tenant_id > 1000 and a.tenant_id=b.tenant_id order by
1,zone;,
結(jié)果如下圖:
同樣也是在root租戶下執(zhí)行。
執(zhí)行命令:
alter system set _enable_add_between_range_partitions = True tenant=obzy02;
注意事項:
tenant為上面查詢的結(jié)果,根據(jù)需要修改;處理完畢后將參數(shù)修改回 False。
執(zhí)行如圖:
obclient[root]>alter system set
_enable_add_between_range_partitions = True
tenant=obzy02;
Query OK, 0 rows affected (0.01 sec)
步驟3:再次查詢參數(shù)值,確認(rèn)已經(jīng)修改成功
同樣也是在root租戶下執(zhí)行。
執(zhí)行命令:
select * from __all_virtual_tenant_parameter_info where name
= _enable_add_between_range_partitions and tenant_id >
1001;
或是步驟1里的語句,當(dāng)結(jié)果data_type字段改為true說明功能啟用可以add復(fù)合分區(qū),可以執(zhí)行add 分區(qū)命令驗證add分區(qū)。
結(jié)果如下圖:
因add分區(qū)的功能當(dāng)max分區(qū)有數(shù)據(jù)時,可能會造成數(shù)據(jù)的遷移(數(shù)據(jù)可能會保留在max分區(qū),沒有遷移到拆除的分區(qū),這個需要驗證,測試發(fā)現(xiàn)數(shù)據(jù)到了新加的分區(qū)上符合期望的情況)和全局索引的失效。
在root 租戶驗證max分區(qū)是否有數(shù)據(jù),這個語句不完全準(zhǔn)確,部分max分區(qū)沒有查詢到,需要手工統(tǒng)計或是ob優(yōu)化下視圖便于按分區(qū)名查詢(在root租戶只能查到分區(qū)的id不能查到分區(qū)的名稱)。
查詢語句:
SELECT /*+READ_CONSISTENCY(WEAK),query_tzyeout(100000000)*/
c.tenant_name,
d.database_name,
b.table_name,
a.partition_id,
a.row_count,
round(a.required_size / 1024 / 1024 / 1024, 2) table_size_GB
from
(select tenant_id,table_id,max(partition_id) partition_id from __all_virtual_meta_table group by tenant_id,table_id) m,
__all_virtual_meta_table a,
__all_virtual_table b,
__all_tenant c,
__all_virtual_database d
WHERE a.ROLE = 1
AND instr(a.member_list, a.svr_ip) > 0
and m.tenant_id=a.tenant_id
and m.table_id=a.table_id
and m.partition_id=a.partition_id
AND a.tenant_id = b.tenant_id
AND a.table_id = b.table_id
AND b.tenant_id = c.tenant_id
AND b.database_id = d.database_id
and m.partition_id>17
and d.database_name not in(PRO_MUSER)
and b.table_name in(
CS_ZYEI_CUR,
CS_REC_ECASHLOAN_LOG,
ZY_ASYN_TASK,
ZY_ASYN_TASKHIS,
ZY_ASYN_TASK_BLOCK,
ZY_ASYN_TASK_BLOCKHIS,
ZY_ASYN_TASK_LOCK,
ZY_ASYN_TASK_PARAMTER)
ORDER BY c.tenant_name, b.table_name, partition_id;
查詢結(jié)果:
此操作在業(yè)務(wù)租戶的業(yè)務(wù)用戶,或是業(yè)務(wù)租戶的sys用戶下執(zhí)行。
驗證按月分區(qū),按地市+月份分區(qū)類型的表,步驟如下:
1)驗證按月分區(qū)的表
obclient[SYS]>select t.table_owner,t.table_name,t.partition_name from dba_tab_partitions t where t.table_name=ZY_IF_CTRM_ORDER_HIS;
+-------------+-----------------------+----------------+
| TABLE_OWNER | TABLE_NAME | PARTITION_NAME |
+-------------+-----------------------+----------------+
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202201 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202202 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202203 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202204 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202205 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202206 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202207 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202208 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202209 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202210 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202211 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202212 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_MAX |
+-------------+-----------------------+----------------+
13 rows in set (0.87 sec)
obclient[SYS]>
2)驗證max分區(qū)是否有數(shù)據(jù)
select count(1) from ZY.ZY_IF_CTRM_ORDER_HIS partition (P_MAX);
obclient[SYS]>select count(1) from ZY.ZY_IF_CTRM_ORDER_HIS partition (P_MAX);
+----------+
| COUNT(1) |
+----------+
| 0 |
+----------+
1 row in set (0.00 sec)
3)執(zhí)行分區(qū)添加語句
alter table ZY.ZY_IF_CTRM_ORDER_HIS add partition P_202301
values less than (TO_DATE(202302, YYYYMM,
NLS_CALENDAR=GREGORIAN)) ;
obclient[SYS]>alter table ZY.ZY_IF_CTRM_ORDER_HIS add
partition P_202301 values less than (TO_DATE(202302,
YYYYMM, NLS_CALENDAR=GREGORIAN)) ;
Query OK, 0 rows affected (0.20 sec)
4)通過語句驗證添加的分區(qū)
obclient[SYS]>select t.table_owner,t.table_name,t.partition_name from dba_tab_partitions t where t.table_name=ZY_IF_CTRM_ORDER_HIS;
+-------------+-----------------------+----------------+
| TABLE_OWNER | TABLE_NAME | PARTITION_NAME |
+-------------+-----------------------+----------------+
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202201 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202202 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202203 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202204 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202205 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202206 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202207 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202208 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202209 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202210 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202211 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202212 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_202301 |
| ZY | ZY_IF_CTRM_ORDER_HIS | P_MAX |
+-------------+-----------------------+----------------+
14 rows in set (0.82 sec)
obclient[SYS]>
步驟6:在操作完檢查失效的索引
此步業(yè)務(wù)用戶下檢查,此命令可以查出失效索引和創(chuàng)建索引的的ddl命令,因為ob暫時不支持失效索引的rebuild命了,索引失效了只能drop了重建。索引檢查失效索引并重建這一步是非常重要的檢查步驟。
使用命令:
select /*+ rule */t.owner,t.table_name,drop index ||t.owner||.||t.index_name||;,select
dbms_metadata.get_ddl(||INDEX||,||T.INDEX_NAME||,||||T.OWNER||) FROM DUAL UNION ALL
FROM Dba_Indexes t WHERE t.status =UNUSABLE;
此命令在root租戶下執(zhí)行,驗證語句同步驟1:
alter system set _enable_add_between_range_partitions = False tenant=obzy02;
至此ob庫分區(qū)添加共用驗證完。
1)此次分區(qū)add功能只是通過add partition命令實現(xiàn)了類似split partition的功能,完善了符合分區(qū)不能add分區(qū)的情況,但是還不能支持split partition 功能,希望后期支持。
2)Ob的失效索引不支持rebuild命令,這個導(dǎo)致索引失效后操作較復(fù)雜,既增加了操作時間(不能編譯分區(qū)失效索引),又增加了操作難度(獲取建索引語句,并刪除索引重建難免有遺漏的可能帶來了sql效率降低的風(fēng)險),建議后期增加此功能。
oceanbase處于發(fā)展階段,部分功能還不完善,希望后期越做越好。
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://systransis.cn/yun/129091.html
摘要:端基于生成列進(jìn)行內(nèi)部分區(qū),不侵入業(yè)務(wù)??偨Y(jié)天貓雙全球狂歡節(jié)成交額超過億,成功經(jīng)受住了考驗,全面支撐了支付寶核心鏈路,平穩(wěn)抗住時的峰值壓力,夯實三年戰(zhàn)略百萬支付的底盤能力。 小螞蟻說: 你們都很關(guān)心的 OB雙11大促實戰(zhàn)分享 專題來啦!本系列將為你系統(tǒng)性的介紹OceanBase支撐螞蟻雙11背后的技術(shù)原理和實戰(zhàn)分享。從平臺到架構(gòu),再到實現(xiàn),一起來探索螞蟻雙11這場神秘的技術(shù)之旅吧! sh...
閱讀 3668·2023-01-11 11:02
閱讀 4210·2023-01-11 11:02
閱讀 3007·2023-01-11 11:02
閱讀 5147·2023-01-11 11:02
閱讀 4701·2023-01-11 11:02
閱讀 5485·2023-01-11 11:02
閱讀 5235·2023-01-11 11:02
閱讀 3864·2023-01-11 11:02