建表（Create Table）數(shù)據(jù)倉庫 UDW Doris

ernest.wang 發(fā)布于2022-07-12 17:17 / 2471人閱讀

摘要：數(shù)據(jù)排序使用的列數(shù)，取最前面幾列，不能超過總的列數(shù)。示例創(chuàng)建一個動態(tài)分區(qū)表。創(chuàng)建外部表創(chuàng)建外部表在創(chuàng)建外部表的目的是可以通過訪問外部數(shù)據(jù)庫。創(chuàng)建表時，關(guān)于和的數(shù)量和數(shù)據(jù)量的建議。

建表（Create Table）

創(chuàng)建表

語法：

CREATE TABLE [IF NOT EXISTS] [database.]table
(
    column_definition_list,
    [index_definition_list]
)
[engine_type]
[keys_type]
[table_comment]
[partition_info]
distribution_info
[rollup_list]
[properties]
[extra_properties]

參數(shù)說明：

參數(shù)說明 database數(shù)據(jù)庫的名稱。column_definition_list列定義列表。column_definition列定義。column_type列類型。云數(shù)據(jù)倉庫UDoris支持的數(shù)據(jù)類型，請參見數(shù)據(jù)類型。 aggr_type 聚合類型。云數(shù)據(jù)庫UDoris支持的聚合類型，請參見聚合類型。 index_definition索引定義。engine_type表引擎類型，本文檔中類型皆為OLAP。key_type數(shù)據(jù)模型。 DUPLICATE KEY（默認）：其后指定的列為排序列。 AGGREGATE KEY：其后指定的列為維度列。 UNIQUE KEY：其后指定的列為主鍵列。 table_comment 表注釋。partition_desc分區(qū)信息。distribution_desc定義數(shù)據(jù)分桶方式。rollup_list建表的同時可以創(chuàng)建多個物化視圖。properties設(shè)置表屬性。目前支持以下屬性。 replication_num：副本數(shù)。默認副本數(shù)為3。 replication_allocation：根據(jù)Tag設(shè)置副本分布情況。該屬性可以完全覆蓋 replication_num 屬性的功能。 storage_medium/storage_cooldown_time：數(shù)據(jù)存儲介質(zhì)。 colocate_with：當(dāng)需要使用Colocation Join功能時，使用這個參數(shù)設(shè)置 Colocation Group。 bloom_filter_columns：用戶指定需要添加Bloom Filter索引的列名稱列表。各個列的 Bloom Filter 索引是獨立的，并不是組合索引。 in_memory：Doris 是沒有內(nèi)存表的概念。 function_column.sequence_type：當(dāng)使用UNIQUE KEY模型時，可以指定一個sequence列，當(dāng)KEY列相同時，將按照sequence列進行REPLACE(較大值替換較小值，否則無法替換。 dynamic_partition.enable：用于指定表級別的動態(tài)分區(qū)功能是否開啟。默認為 true。 dynamic_partition.time_unit：用于指定動態(tài)添加分區(qū)的時間單位，可選擇為DAY（天），WEEK(周)，MONTH（月），HOUR（時）。 dynamic_partition.start：用于指定向前刪除多少個分區(qū)。值必須小于0。默認為 Integer.MIN_VALUE。 dynamic_partition.end：用于指定提前創(chuàng)建的分區(qū)數(shù)量。值必須大于0。 dynamic_partition.prefix：用于指定創(chuàng)建的分區(qū)名前綴，例如分區(qū)名前綴為p，則自動創(chuàng)建分區(qū)名為p20200108。 dynamic_partition.buckets: 用于指定自動創(chuàng)建的分區(qū)分桶數(shù)量。 dynamic_partition.create_history_partition: 是否創(chuàng)建歷史分區(qū)。 dynamic_partition.history_partition_num: 指定創(chuàng)建歷史分區(qū)的數(shù)量。 dynamic_partition.reserved_history_periods: 用于指定保留的歷史分區(qū)的時間段。 data_sort.sort_type: 數(shù)據(jù)排序使用的方法，目前支持兩種：lexical/z-order，默認是lexical。 data_sort.col_num: 數(shù)據(jù)排序使用的列數(shù)，取最前面幾列，不能超過總的key列數(shù)。

示例：創(chuàng)建一個明細模型的表，分區(qū)，指定排序列，設(shè)置副本數(shù)為3

CREATE TABLE example_db.table_hash
(
    k1 DATE,
    k2 DECIMAL(10, 2) DEFAULT "10.5",
    k3 CHAR(10) COMMENT "string column",
    k4 INT NOT NULL DEFAULT "1" COMMENT "int column"
)
DUPLICATE KEY(k1, k2)
COMMENT "my first table"
PARTITION BY RANGE(k1)
(
    PARTITION p1 VALUES LESS THAN ("2020-02-01"),
    PARTITION p1 VALUES LESS THAN ("2020-03-01"),
    PARTITION p1 VALUES LESS THAN ("2020-04-01")
)
DISTRIBUTED BY HASH(k1) BUCKETS 32
PROPERTIES (
    "replication_num" = "3"
);

示例：創(chuàng)建一個聚合模型表，使用固定范圍分區(qū)描述

CREATE TABLE table_range
(
    k1 DATE,
    k2 INT,
    k3 SMALLINT,
    v1 VARCHAR(2048) REPLACE,
    v2 INT SUM DEFAULT "1"
)
AGGREGATE KEY(k1, k2, k3)
PARTITION BY RANGE (k1, k2, k3)
(
    PARTITION p1 VALUES [("2014-01-01", "10", "200"), ("2014-01-01", "20", "300")),
    PARTITION p2 VALUES [("2014-06-01", "100", "200"), ("2014-07-01", "100", "300"))
)
DISTRIBUTED BY HASH(k2) BUCKETS 32

示例：創(chuàng)建兩張同一個 Colocation Group 自維護的表。

CREATE TABLE t1 (
    id int(11) COMMENT "",
    value varchar(8) COMMENT ""
)
DUPLICATE KEY(id)
DISTRIBUTED BY HASH(id) BUCKETS 10
PROPERTIES (
    "colocate_with" = "group1"
);
CREATE TABLE t2 (
    id int(11) COMMENT "",
    value1 varchar(8) COMMENT "",
    value2 varchar(8) COMMENT ""
)
DUPLICATE KEY(`id`)
DISTRIBUTED BY HASH(`id`) BUCKETS 10
PROPERTIES (
    "colocate_with" = "group1"
);

示例：創(chuàng)建一個動態(tài)分區(qū)表。

CREATE TABLE example_db.dynamic_partition
(
    k1 DATE,
    k2 INT,
    k3 SMALLINT,
    v1 VARCHAR(2048),
    v2 DATETIME DEFAULT "2014-02-04 15:36:00"
)
DUPLICATE KEY(k1, k2, k3)
PARTITION BY RANGE (k1) ()
DISTRIBUTED BY HASH(k2) BUCKETS 32
PROPERTIES(
    "dynamic_partition.time_unit" = "DAY",
    "dynamic_partition.start" = "-3",
    "dynamic_partition.end" = "3",
    "dynamic_partition.prefix" = "p",
    "dynamic_partition.buckets" = "32" 
);

創(chuàng)建外部表在Doris創(chuàng)建外部表的目的是可以通過Doris訪問外部數(shù)據(jù)庫。而Doris本身并不維護、存儲任何外部數(shù)據(jù)。

主要通過 ENGINE 類型來標(biāo)識是哪種類型的外部表，目前可選 ODBC、HIVE、ICEBERG 、HUDI。

示例：通過ODBC_Resource來創(chuàng)建ODBC外表。

CREATE EXTERNAL RESOURCE `oracle_odbc`
PROPERTIES (
"type" = "odbc_catalog",
"host" = "192.168.0.1",
"port" = "8086",
"user" = "test",
"password" = "test",
"database" = "test",
"odbc_type" = "oracle",
"driver" = "Oracle 19 ODBC driver"
);
CREATE EXTERNAL TABLE `baseall_oracle` (
  `k1` decimal(9, 3) NOT NULL COMMENT "",
  `k2` char(10) NOT NULL COMMENT "",
  `k3` datetime NOT NULL COMMENT "",
  `k5` varchar(20) NOT NULL COMMENT "",
  `k6` double NOT NULL COMMENT ""
) ENGINE=ODBC
COMMENT "ODBC"
PROPERTIES (
"odbc_catalog_resource" = "oracle_odbc",
"database" = "test",
"table" = "baseall"
);

示例：創(chuàng)建一個hive外部表。

CREATE TABLE example_db.table_hive
(
  k1 TINYINT,
  k2 VARCHAR(50),
  v INT
)
ENGINE=hive
PROPERTIES
(
  "database" = "hive_db_name",
  "table" = "hive_table_name",
  "hive.metastore.uris" = "thrift://127.0.0.1:9083"
);

示例：創(chuàng)建一個 Iceberg 外表。

CREATE TABLE example_db.t_iceberg 
ENGINE=ICEBERG
PROPERTIES (
    "iceberg.database" = "iceberg_db",
    "iceberg.table" = "iceberg_table",
    "iceberg.hive.metastore.uris"  =  "thrift://127.0.0.1:9083",
    "iceberg.catalog.type"  =  "HIVE_CATALOG"
);

示例：創(chuàng)建一個 Hudi 外表。

CREATE TABLE example_db.t_hudi
ENGINE=HUDI
PROPERTIES (
"hudi.database" = "hudi_db_in_hive_metastore",
"hudi.table" = "hudi_table_in_hive_metastore",
"hudi.hive.metastore.uris" = "thrift://127.0.0.1:9083"
);

創(chuàng)建表時，關(guān)于 Partition 和 Bucket 的數(shù)量和數(shù)據(jù)量的建議。

一個表的 Tablet 總數(shù)量等于 (Partition num * Bucket num)。一個表的 Tablet 數(shù)量，在不考慮擴容的情況下，推薦略多于整個集群的磁盤數(shù)量。單個 Tablet 的數(shù)據(jù)量理論上沒有上下界，但建議在 1G - 10G 的范圍內(nèi)。如果單個 Tablet 數(shù)據(jù)量過小，則數(shù)據(jù)的聚合效果不佳，且元數(shù)據(jù)管理壓力大。如果數(shù)據(jù)量過大，則不利于副本的遷移、補齊，且會增加 Schema Change 或者 Rollup 操作失敗重試的代價（這些操作失敗重試的粒度是 Tablet）。當(dāng) Tablet 的數(shù)據(jù)量原則和數(shù)量原則沖突時，建議優(yōu)先考慮數(shù)據(jù)量原則。在建表時，每個分區(qū)的 Bucket 數(shù)量統(tǒng)一指定。但是在動態(tài)增加分區(qū)時（ADD PARTITION），可以多帶帶指定新分區(qū)的 Bucket 數(shù)量?？梢岳眠@個功能方便的應(yīng)對數(shù)據(jù)縮小或膨脹。一個 Partition 的 Bucket 數(shù)量一旦指定，不可更改。所以在確定 Bucket 數(shù)量時，需要預(yù)先考慮集群擴容的情況。比如當(dāng)前只有 3 臺 host，每臺 host 有 1 塊盤。如果 Bucket 的數(shù)量只設(shè)置為 3 或更小，那么后期即使再增加機器，也不能提高并發(fā)度。舉一些例子：假設(shè)在有10臺BE，每臺BE一塊磁盤的情況下。如果一個表總大小為 500MB，則可以考慮4-8個分片。5GB：8-16個分片。50GB：32個分片。500GB：建議分區(qū)，每個分區(qū)大小在 50GB 左右，每個分區(qū)16-32個分片。5TB：建議分區(qū)，每個分區(qū)大小在 50GB 左右，每個分區(qū)16-32個分片

官網(wǎng)參考文檔

創(chuàng)建表的更多信息，請參見CREATE TABLE。創(chuàng)建外部表，請參見CREATE-EXTERNAL-TABLE。

云服務(wù)器 GPU云服務(wù)器 UDW Doris mysql數(shù)據(jù)庫建表 java數(shù)據(jù)庫登建表

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/126878.html

發(fā)表評論

登陸后可評論

0條評論

ernest.wang

男|高級講師

我要關(guān)注我要私信

TA的文章

特朗普勝任，將對跨境電商賣家產(chǎn)生哪些影響？

閱讀 484·2024-11-07 18:25
幻獸帕魯常見問題匯總

閱讀 130851·2024-02-01 10:43
在Linux和Windows上部署帕魯?shù)膮^(qū)別？

閱讀 961·2024-01-31 14:58
怎么重啟幻獸帕魯云服務(wù)器？

閱讀 925·2024-01-31 14:54
幻獸帕魯自建服務(wù)器存檔備份及回檔 - windows篇

閱讀 83048·2024-01-29 17:11
小白必讀教程，幻獸帕魯服務(wù)器手動部署教程 - Windows篇

閱讀 3310·2024-01-25 14:55
A800GPU租用-A800顯卡

閱讀 2086·2023-06-02 13:36
5G短信和普通短信的區(qū)別

閱讀 3206·2023-05-23 10:26

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

建表（Create Table）數(shù)據(jù)倉庫 UDW Doris

建表（Create Table）

相關(guān)文章

概覽數(shù)據(jù)倉庫 UDW Doris

重啟集群數(shù)據(jù)倉庫 UDW Doris

產(chǎn)品購買與使用數(shù)據(jù)倉庫 UDW Doris

聚合函數(shù) 數(shù)據(jù)倉庫 UDW Doris

**概覽數(shù)據(jù)倉庫 UDW Clickhouse**

發(fā)表評論

0條評論

ernest.wang

男|高級講師

TA的文章

特朗普勝任，將對跨境電商賣家產(chǎn)生哪些影響？

幻獸帕魯常見問題匯總

在Linux和Windows上部署帕魯?shù)膮^(qū)別？

怎么重啟幻獸帕魯云服務(wù)器？

幻獸帕魯自建服務(wù)器存檔備份及回檔 - windows篇

小白必讀教程，幻獸帕魯服務(wù)器手動部署教程 - Windows篇

A800GPU租用-A800顯卡

5G短信和普通短信的區(qū)別

最新活動

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

建表（Create Table） 數(shù)據(jù)倉庫 UDW Doris

相關(guān)文章

發(fā)表評論

0條評論

男|高級講師

TA的文章

最新活動

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

建表（Create Table）數(shù)據(jù)倉庫 UDW Doris