本地?cái)?shù)據(jù)導(dǎo)入數(shù)據(jù)倉庫 UDW Doris

ernest.wang 發(fā)布于2022-07-12 17:28 / 1811人閱讀

摘要：本地?cái)?shù)據(jù)導(dǎo)入本地?cái)?shù)據(jù)導(dǎo)入本地?cái)?shù)據(jù)導(dǎo)入本篇目錄注意事項(xiàng)注意事項(xiàng)操作步驟操作步驟注意事項(xiàng)注意事項(xiàng)注意事項(xiàng)用于將本地文件導(dǎo)入到中。建議一個(gè)導(dǎo)入請求的數(shù)據(jù)量控制在以內(nèi)。

本地?cái)?shù)據(jù)導(dǎo)入

本篇目錄

注意事項(xiàng)操作步驟

注意事項(xiàng)

Stream Load 用于將本地文件導(dǎo)入到 Doris 中。建議一個(gè)導(dǎo)入請求的數(shù)據(jù)量控制在 1 - 2 GB 以內(nèi)。如果有大量本地文件，可以分批并發(fā)提交

操作步驟

準(zhǔn)備測試數(shù)據(jù)

創(chuàng)建csv文件lineorder.csv放到之前創(chuàng)建的云主機(jī)數(shù)據(jù)盤/data目錄下

1|2|28720|133109|1289|19960502|3-MEDIUM|0|44|5025240|11485668|8|4623220|68526|0|19960722|RAIL
2|3|28720|152761|373|19960502|3-MEDIUM|0|3|544128|11485668|4|522362|108825|1|19960602|MAIL
3|1|6415|176345|1060|19970713|4-NOT SPECI|0|50|7106700|6890656|4|6822432|85280|1|19970907|FOB
4|1|11090|25360|43|19930728|3-MEDIUM|0|24|3084864|9275090|2|3023166|77121|3|19931007|MAIL
5|2|11090|10463|1321|19930728|3-MEDIUM|0|46|6317916|9275090|8|5812482|82407|6|19930921|RAIL
6|1|22681|7272|1235|19930725|1-URGENT|0|32|3773664|6321665|7|3509507|70756|1|19930930|REG AIR
7|2|22681|6452|1387|19930725|1-URGENT|0|7|950915|6321665|4|912878|81507|0|19930923|SHIP
8|3|22681|37131|1202|19930725|1-URGENT|0|18|1922634|6321665|4|1845728|64087|1|19930828|FOB
9|1|22013|32255|305|19960831|2-HIGH|0|5|593625|3762529|4|569880|71235|3|19961119|MAIL
10|2|22013|96127|478|19960831|2-HIGH|0|28|3144736|3762529|1|3113288|67387|2|19961001|AIR

創(chuàng)建數(shù)據(jù)庫及數(shù)據(jù)表

通過mysql-client連接集群

mysql -uroot -h<任一frontend節(jié)點(diǎn)IP地址> -P9030 -p<創(chuàng)建集群時(shí)設(shè)置的密碼>

建庫建表

CREATE DATABASE IF NOT EXISTS ssb;
CREATE TABLE `lineorder` (
  `lo_orderkey` bigint(20) NOT NULL COMMENT "",
  `lo_linenumber` bigint(20) NOT NULL COMMENT "",
  `lo_custkey` int(11) NOT NULL COMMENT "",
  `lo_partkey` int(11) NOT NULL COMMENT "",
  `lo_suppkey` int(11) NOT NULL COMMENT "",
  `lo_orderdate` int(11) NOT NULL COMMENT "",
  `lo_orderpriority` varchar(16) NOT NULL COMMENT "",
  `lo_shippriority` int(11) NOT NULL COMMENT "",
  `lo_quantity` bigint(20) NOT NULL COMMENT "",
  `lo_extendedprice` bigint(20) NOT NULL COMMENT "",
  `lo_ordtotalprice` bigint(20) NOT NULL COMMENT "",
  `lo_discount` bigint(20) NOT NULL COMMENT "",
  `lo_revenue` bigint(20) NOT NULL COMMENT "",
  `lo_supplycost` bigint(20) NOT NULL COMMENT "",
  `lo_tax` bigint(20) NOT NULL COMMENT "",
  `lo_commitdate` bigint(20) NOT NULL COMMENT "",
  `lo_shipmode` varchar(11) NOT NULL COMMENT ""
)
PARTITION BY RANGE(`lo_orderdate`)
(PARTITION p1992 VALUES [("-2147483648"), ("19930101")),
PARTITION p1993 VALUES [("19930101"), ("19940101")),
PARTITION p1994 VALUES [("19940101"), ("19950101")),
PARTITION p1995 VALUES [("19950101"), ("19960101")),
PARTITION p1996 VALUES [("19960101"), ("19970101")),
PARTITION p1997 VALUES [("19970101"), ("19980101")),
PARTITION p1998 VALUES [("19980101"), ("19990101")))
DISTRIBUTED BY HASH(`lo_orderkey`) BUCKETS 10
PROPERTIES (
"replication_num" = "3"
);

使用以下命令在之前創(chuàng)建的云主機(jī)導(dǎo)入本地?cái)?shù)據(jù)

curl --location-trusted -u root:<創(chuàng)建集群時(shí)設(shè)置的密碼> -H "column_separator:|" -T /data/lineorder.csv http://<任一Frontend節(jié)點(diǎn)IP地址>:8030/api/ssb/lineorder/_stream_load

Java 代碼示例（這里通過一個(gè)簡單的 JAVA 示例來執(zhí)行 Stream Load）

package demo.doris;
import org.apache.commons.codec.binary.Base64;
import org.apache.http.HttpHeaders;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpPut;
import org.apache.http.entity.FileEntity;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.DefaultRedirectStrategy;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import java.io.File;
import java.io.IOException;
import java.nio.charset.StandardCharsets;
/*
這是一個(gè) Doris Stream Load 示例，需要依賴

    org.apache.httpcomponents
    httpclient
    4.5.13

 */
public class DorisStreamLoader {
    //可以選擇填寫 frontend 地址以及 frontend 的 http_port，但須保證客戶端和 BE 節(jié)點(diǎn)的連通性。
    private final static String HOST = "your_host";//集群詳情給出的連接地址，也就是Frontend的master角色對應(yīng)的ip
    private final static int PORT = 8030;
    private final static String DATABASE = "ssb";   // 要導(dǎo)入的數(shù)據(jù)庫
    private final static String TABLE = "lineorder";     // 要導(dǎo)入的表
    private final static String USER = "root";   
    private final static String PASSWD = "";        // 創(chuàng)建集群時(shí)的密碼
    private final static String LOAD_FILE_NAME = "/path/to/1.txt"; // 要導(dǎo)入的本地文件路徑
    private final static String loadUrl = String.format("http://%s:%s/api/%s/%s/_stream_load",
            HOST, PORT, DATABASE, TABLE);
    private final static HttpClientBuilder httpClientBuilder = HttpClients
            .custom()
            .setRedirectStrategy(new DefaultRedirectStrategy() {
                @Override
                protected boolean isRedirectable(String method) {
                    // 如果連接目標(biāo)是 frontend，則需要處理 307 redirect。
                    return true;
                }
            });
    public void load(File file) throws Exception {
        try (CloseableHttpClient client = httpClientBuilder.build()) {
            HttpPut put = new HttpPut(loadUrl);
            put.setHeader(HttpHeaders.EXPECT, "100-continue");
            put.setHeader(HttpHeaders.AUTHORIZATION, basicAuthHeader(USER, PASSWD));
            // 可以在 Header 中設(shè)置 stream load 相關(guān)屬性，這里我們設(shè)置 label 和 column_separator。
            put.setHeader("label","label1");
            put.setHeader("column_separator",",");
            // 設(shè)置導(dǎo)入文件。
            // 這里也可以使用 StringEntity 來傳輸任意數(shù)據(jù)。
            FileEntity entity = new FileEntity(file);
            put.setEntity(entity);
            try (CloseableHttpResponse response = client.execute(put)) {
                String loadResult = "";
                if (response.getEntity() != null) {
                    loadResult = EntityUtils.toString(response.getEntity());
                }
                final int statusCode = response.getStatusLine().getStatusCode();
                if (statusCode != 200) {
                    throw new IOException(
                            String.format("Stream load failed. status: %s load result: %s", statusCode, loadResult));
                }
                System.out.println("Get load result: " + loadResult);
            }
        }
    }
    private String basicAuthHeader(String username, String password) {
        final String tobeEncode = username + ":" + password;
        byte[] encoded = Base64.encodeBase64(tobeEncode.getBytes(StandardCharsets.UTF_8));
        return "Basic " + new String(encoded);
    }
    public static void main(String[] args) throws Exception{
        DorisStreamLoader loader = new DorisStreamLoader();
        File file = new File(LOAD_FILE_NAME);
        loader.load(file);
    }
}

使用mysql-client非交互模式查詢驗(yàn)證

mysql -uroot -h<任一Frontend節(jié)點(diǎn)IP地址> -P9030 -p<創(chuàng)建集群時(shí)設(shè)置的密碼> -e "select * from ssb.lineorder";

云服務(wù)器 GPU云服務(wù)器批量導(dǎo)入本地?cái)?shù)據(jù) 本地?cái)?shù)據(jù)庫導(dǎo)入 odps怎么導(dǎo)入本地?cái)?shù)據(jù) 本地鏡像導(dǎo)入

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/127003.html

發(fā)表評論

登陸后可評論

0條評論

ernest.wang

男|高級講師

我要關(guān)注我要私信

TA的文章

DeepSeek R1系列模型一鍵部署教程，支持云端免費(fèi)體驗(yàn)！

閱讀 836·2025-02-07 13:29
特朗普勝任，將對跨境電商賣家產(chǎn)生哪些影響？

閱讀 644·2024-11-07 18:25
幻獸帕魯常見問題匯總

閱讀 131094·2024-02-01 10:43
在Linux和Windows上部署帕魯?shù)膮^(qū)別？

閱讀 1060·2024-01-31 14:58
怎么重啟幻獸帕魯云服務(wù)器？

閱讀 1022·2024-01-31 14:54
幻獸帕魯自建服務(wù)器存檔備份及回檔 - windows篇

閱讀 83215·2024-01-29 17:11
小白必讀教程，幻獸帕魯服務(wù)器手動(dòng)部署教程 - Windows篇

閱讀 3497·2024-01-25 14:55
A800GPU租用-A800顯卡

閱讀 2217·2023-06-02 13:36

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

本地?cái)?shù)據(jù)導(dǎo)入數(shù)據(jù)倉庫 UDW Doris

本地?cái)?shù)據(jù)導(dǎo)入

本篇目錄

注意事項(xiàng)

操作步驟

相關(guān)文章

概覽數(shù)據(jù)倉庫 UDW Doris

重啟集群數(shù)據(jù)倉庫 UDW Doris

產(chǎn)品購買與使用數(shù)據(jù)倉庫 UDW Doris

聚合函數(shù) 數(shù)據(jù)倉庫 UDW Doris

建表（Create Table）數(shù)據(jù)倉庫 UDW Doris

**概覽數(shù)據(jù)倉庫 UDW Clickhouse**

發(fā)表評論

0條評論

ernest.wang

男|高級講師

TA的文章

DeepSeek R1系列模型一鍵部署教程，支持云端免費(fèi)體驗(yàn)！

特朗普勝任，將對跨境電商賣家產(chǎn)生哪些影響？

幻獸帕魯常見問題匯總

在Linux和Windows上部署帕魯?shù)膮^(qū)別？

怎么重啟幻獸帕魯云服務(wù)器？

幻獸帕魯自建服務(wù)器存檔備份及回檔 - windows篇

小白必讀教程，幻獸帕魯服務(wù)器手動(dòng)部署教程 - Windows篇

A800GPU租用-A800顯卡

最新活動(dòng)

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

本地?cái)?shù)據(jù)導(dǎo)入 數(shù)據(jù)倉庫 UDW Doris

本篇目錄

相關(guān)文章

發(fā)表評論

0條評論

男|高級講師

TA的文章

最新活動(dòng)

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

本地?cái)?shù)據(jù)導(dǎo)入數(shù)據(jù)倉庫 UDW Doris