摘要:線程越大生成數(shù)據(jù)越快,建議數(shù)據(jù)量較大時(shí)并且在機(jī)器條件允許的情況下指定較大的核數(shù)。例如以下命令生成千億級(jí)別的數(shù)據(jù)參數(shù)指定為線程,以上數(shù)據(jù)示例也可以按需指定參數(shù),指定的數(shù)字即為分割文件的個(gè)數(shù)。
[root@xxxxx test]# git clone https://github.com/electrum/ssb-dbgen.git
[root@xxxxx test]# cd ssb-dbgen
[root@xxxxx ssb-dbgen]# make
生成6億數(shù)據(jù)
[root@xxxxx ssb-dbgen]# ./dbgen -s 100 -T c
[root@xxxxx ssb-dbgen]# ./dbgen -s 100 -T l
[root@xxxxx ssb-dbgen]# ./dbgen -s 100 -T p
[root@xxxxx ssb-dbgen]# ./dbgen -s 100 -T s
[root@xxxxx ssb-dbgen]# ./dbgen -s 100 -T d
表名行數(shù)大小描述lineorder6億(600037902)67.1G商品訂單表customer300萬(wàn)(3000000)317M客戶表part140萬(wàn)(1400000)135M零部件表supplier20萬(wàn)(200000)19M供應(yīng)商表date2556272K日期表
生成30億數(shù)據(jù)
[root@xxxxx ssb-dbgen]# ./dbgen -s 500 -T c
[root@xxxxx ssb-dbgen]# ./dbgen -s 500 -T l
[root@xxxxx ssb-dbgen]# ./dbgen -s 500 -T p
[root@xxxxx ssb-dbgen]# ./dbgen -s 500 -T s
[root@xxxxx ssb-dbgen]# ./dbgen -s 500 -T d
表名行數(shù)大小描述lineorder30億(3000028242)347G商品訂單表customer1500萬(wàn)(15000000)1.6G客戶表part180萬(wàn)(1800000)173M零部件表supplier100萬(wàn)(1000000)94M供應(yīng)商表date2556272K日期表
生成60億數(shù)據(jù)
[root@xxxxx ssb-dbgen]# ./dbgen -s 1000 -T c
[root@xxxxx ssb-dbgen]# ./dbgen -s 1000 -T l
[root@xxxxx ssb-dbgen]# ./dbgen -s 1000 -T p
[root@xxxxx ssb-dbgen]# ./dbgen -s 1000 -T s
[root@xxxxx ssb-dbgen]# ./dbgen -s 1000 -T d
表名行數(shù)大小描述lineorder60億(5999989709)688G商品訂單表customer3000萬(wàn)(30000000)3.2G客戶表part200萬(wàn)(2000000)193M零部件表supplier200萬(wàn)(2000000)188M供應(yīng)商表date2556272K日期表
特別說(shuō)明:
? 如果數(shù)據(jù)量生成較大的話,dbgen命令支持分割文件,指定 -C 參數(shù),即線程數(shù)。線程越大生成數(shù)據(jù)越快,建議數(shù)據(jù)量較大時(shí)并且在機(jī)器條件允許的情況下指定較大的核數(shù)。例如以下命令生成千億級(jí)別的數(shù)據(jù) -C 參數(shù)指定為32線程,以上數(shù)據(jù)示例也可以按需指定 -C 參數(shù),-C 指定的數(shù)字即為分割文件的個(gè)數(shù)。
[root@xxxxx ssb-dbgen]# ./dbgen -C 32 -s 17500 -T c
[root@xxxxx ssb-dbgen]# ./dbgen -C 32 -s 17500 -T l
[root@xxxxx ssb-dbgen]# ./dbgen -C 32 -s 17500 -T p
[root@xxxxx ssb-dbgen]# ./dbgen -C 32 -s 17500 -T s
[root@xxxxx ssb-dbgen]# ./dbgen -C 32 -s 17500 -T d
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/126811.html
摘要:概覽概覽概覽產(chǎn)品動(dòng)態(tài)產(chǎn)品介紹什么是云數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品優(yōu)勢(shì)應(yīng)用場(chǎng)景基本概念使用限制快速上手操作指南管理集群配置升降級(jí)節(jié)點(diǎn)擴(kuò)容重啟實(shí)例重置管理員密碼刪除集群連接集群數(shù)據(jù)導(dǎo)入本地?cái)?shù)據(jù)導(dǎo)入數(shù)據(jù)導(dǎo)入通過(guò)導(dǎo)入開(kāi)發(fā)指南數(shù)據(jù)類(lèi)型語(yǔ)法創(chuàng)建庫(kù)創(chuàng)建表創(chuàng)建視圖插入數(shù) 概覽概覽產(chǎn)品動(dòng)態(tài)產(chǎn)品介紹什么是云數(shù)據(jù)倉(cāng)庫(kù)UDoris產(chǎn)品優(yōu)勢(shì)應(yīng)用場(chǎng)景基本概念使用限制快速上手操作指南管理集群Backend配置升降級(jí)Frontend節(jié)點(diǎn)擴(kuò)...
摘要:數(shù)據(jù)排序使用的列數(shù),取最前面幾列,不能超過(guò)總的列數(shù)。示例創(chuàng)建一個(gè)動(dòng)態(tài)分區(qū)表。創(chuàng)建外部表創(chuàng)建外部表在創(chuàng)建外部表的目的是可以通過(guò)訪問(wèn)外部數(shù)據(jù)庫(kù)。創(chuàng)建表時(shí),關(guān)于和的數(shù)量和數(shù)據(jù)量的建議。 建表(Create Table)創(chuàng)建表語(yǔ)法:CREATE TABLE [IF NOT EXISTS] [database.]table ( column_definition_list, [inde...
摘要:重啟集群重啟集群重啟集群當(dāng)您需要重啟集群時(shí),登錄賬號(hào)進(jìn)入到用戶控制臺(tái),在全部產(chǎn)品下搜索或者數(shù)據(jù)倉(cāng)庫(kù)下選擇數(shù)據(jù)倉(cāng)庫(kù),進(jìn)入到數(shù)據(jù)倉(cāng)庫(kù)控制臺(tái)下,選擇操作重啟注意重啟集群為高危操作,集群將處于重啟中持續(xù)數(shù)秒,建議無(wú)必要時(shí)不要隨意重啟實(shí)例,這將會(huì) 重啟集群當(dāng)您需要重啟集群時(shí),登錄UCloud賬號(hào)進(jìn)入到用戶控制臺(tái),在全部產(chǎn)品下搜索或者數(shù)據(jù)倉(cāng)庫(kù)下選擇數(shù)據(jù)倉(cāng)庫(kù) UDW Doris,進(jìn)入到數(shù)據(jù)倉(cāng)庫(kù)UDoris...
摘要:如何連接云數(shù)據(jù)倉(cāng)庫(kù)如何連接云數(shù)據(jù)倉(cāng)庫(kù)如何連接云數(shù)據(jù)倉(cāng)庫(kù)為保證安全,云數(shù)據(jù)倉(cāng)庫(kù)僅提供內(nèi)網(wǎng)網(wǎng)絡(luò),您連接集群時(shí)可以配合同一地域的云主機(jī)或者網(wǎng)絡(luò)產(chǎn)品使用。 產(chǎn)品購(gòu)買(mǎi)與使用本篇目錄為什么只提供一種云盤(pán)類(lèi)型?配置升降級(jí)對(duì)集群有什么影響?配置升級(jí)有什么建議?如何連接云數(shù)據(jù)倉(cāng)庫(kù)UDoris?為什么只提供一種云盤(pán)類(lèi)型?Doris的存儲(chǔ)特性對(duì)磁盤(pán)吞吐量要求很高,為保證Doris的性能優(yōu)勢(shì), 因此僅提供RSSD云...
摘要:概覽概覽概覽產(chǎn)品動(dòng)態(tài)產(chǎn)品介紹什么是云數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品優(yōu)勢(shì)應(yīng)用場(chǎng)景基本概念使用限制快速上手操作指南管理集群配置升降級(jí)重啟實(shí)例重置管理員密碼刪除集群連接集群數(shù)據(jù)同步本地?cái)?shù)據(jù)導(dǎo)入數(shù)據(jù)導(dǎo)入數(shù)據(jù)導(dǎo)入間數(shù)據(jù)導(dǎo)入開(kāi)發(fā)指南數(shù)據(jù)類(lèi)型語(yǔ)法創(chuàng)建庫(kù)創(chuàng)建表創(chuàng)建視圖插入 概覽概覽產(chǎn)品動(dòng)態(tài)產(chǎn)品介紹什么是云數(shù)據(jù)倉(cāng)庫(kù) UClickHouse產(chǎn)品優(yōu)勢(shì)應(yīng)用場(chǎng)景基本概念使用限制快速上手操作指南管理集群配置升降級(jí)重啟實(shí)例重置管理員密碼刪...
摘要:聚合函數(shù)函數(shù)名稱描述語(yǔ)法統(tǒng)計(jì)行數(shù)或者非值個(gè)數(shù)求最小值求最大值統(tǒng)計(jì)行數(shù)或者非值個(gè)數(shù)去重計(jì)算輸入的并集,返回新的計(jì)算輸入的并集,返回其基數(shù)計(jì)算和類(lèi)型的列中不同值的個(gè)數(shù),返回值和相同非精確快速去重列的類(lèi)型不能是或者且表為模型聚合函數(shù)函數(shù)名稱描述語(yǔ)法 sum統(tǒng)計(jì)行數(shù)或者非NULL值個(gè)數(shù)sum(expr)min求最小值min(column)max求最大值max(column)count統(tǒng)計(jì)行數(shù)或...
閱讀 454·2024-11-07 18:25
閱讀 130762·2024-02-01 10:43
閱讀 944·2024-01-31 14:58
閱讀 904·2024-01-31 14:54
閱讀 83007·2024-01-29 17:11
閱讀 3265·2024-01-25 14:55
閱讀 2059·2023-06-02 13:36
閱讀 3167·2023-05-23 10:26