成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

ETL工具Kettle自定義時間變量入庫

IT那活兒 / 1132人閱讀
ETL工具Kettle自定義時間變量入庫

點(diǎn)擊上方“IT那活兒”公眾號，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。?！



kettle自定義時間變量入庫
Kettle自定義時間變量入庫，是指將EXCEL文件或者文本文件中的數(shù)據(jù)插入到數(shù)據(jù)庫的同時自定義一個時間變量也插入到數(shù)據(jù)庫中。
由于存在插入數(shù)據(jù)庫的EXCEL數(shù)據(jù)或者文本文件中的數(shù)據(jù)沒有時間字段，或者時間日期不固定，如果跑批調(diào)度作業(yè)報錯時，則不便于刪除已入庫的數(shù)據(jù)，所以自定義一個時間變量也入庫，可以更直觀的看出該部分?jǐn)?shù)據(jù)的入庫時間，也便于進(jìn)行查詢、刪除等操作。

圖1：Kettle發(fā)送郵件流程圖



kettle發(fā)送郵件步驟詳解
1. Start
開始執(zhí)行作業(yè)。
2. 測試-EXCEL數(shù)據(jù)入庫-轉(zhuǎn)換
將EXCEL中的數(shù)據(jù)轉(zhuǎn)換入庫。
圖2：昨日日期變量
2.1 Excel輸入
輸入流選擇Excel輸入。
  • 表格類型（引擎）：根據(jù)Excel類型，選擇XLS或者XLSX。
  • 選中的文件：Excel文件所在的路徑。
在工作表標(biāo)簽頁中，選擇需要輸入的Excel數(shù)據(jù)所在的Sheet頁的名稱。
  • 頭部：如果該Excel數(shù)據(jù)存在表頭，則選中，表示表頭數(shù)據(jù)不入庫。
  • 編碼：選擇UTF-8。
2.2 字段標(biāo)簽中
點(diǎn)擊下方的“獲取來自頭部數(shù)據(jù)的字段”，則會自動獲取到表頭。
  • 獲取系統(tǒng)信息：可以獲取當(dāng)前系統(tǒng)時間、昨日時間、明天時間、本月/上月/下個月月初/末等時間。
可以點(diǎn)擊類型，選擇不同時間，如下圖所示（這里選擇的為昨日時間）：
2.3 字段選擇
點(diǎn)擊“獲取改變的字段”，可以獲取到前面步驟中的字段，包括Excel輸入中的表頭字段和設(shè)置的系統(tǒng)時間字段，并可以對時間字段設(shè)置格式。
例如：
yyyyMMdd、MM-dd-yyyy HH:mm:ss。
2.4 表輸出
用于將Excel數(shù)據(jù)、文本文件數(shù)據(jù)、數(shù)據(jù)庫中的數(shù)據(jù)輸出到其他數(shù)據(jù)庫的目標(biāo)表中。
  • 數(shù)據(jù)庫連接：獲取提前配置好的數(shù)據(jù)庫，并選擇所使用的數(shù)據(jù)表來源庫。
  • 目標(biāo)表：選擇需要將數(shù)據(jù)插入的目標(biāo)表。 
  • 指定數(shù)據(jù)庫字段： 選中。
選擇“數(shù)據(jù)庫字段”標(biāo)簽頁，點(diǎn)擊“輸入字段映射”選擇輸入流和表字段的一一對應(yīng)關(guān)系，如上圖所示。
3. 成功
查看執(zhí)行結(jié)果日志，每一步均為result=[true]，則作業(yè)執(zhí)行成功，任務(wù)結(jié)束，否則執(zhí)行失敗。
4. 查看入庫數(shù)據(jù)
logdate=’2022-04-19’ 為昨日日期。



END



本文作者：楊華倩（上海新炬王翦團(tuán)隊）

本文來源：“IT那活兒”公眾號

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/129445.html

相關(guān)文章

  • kettle 開源etl數(shù)據(jù)抽取工具

    摘要：相比其他開源的工具和其他商業(yè)的工具，對比下來還是比較強(qiáng)大和好用。 1.為什么要使用數(shù)據(jù)抽取 （1）為了不妨礙業(yè)務(wù)數(shù)據(jù)的讀取和寫入，需要進(jìn)行數(shù)據(jù)的抽取，抽取到另外數(shù)據(jù)庫表進(jìn)行讀?。?）對某些總計數(shù)據(jù)可以進(jìn)行預(yù)先計算， 抽取到另外數(shù)據(jù)庫表（3）隨訪業(yè)務(wù)數(shù)據(jù)庫為mongodb , 統(tǒng)計程序編程效率低，需要轉(zhuǎn)成sql 類數(shù)據(jù)庫提高效率 2.工具 使用 kettle 開源etl工具網(wǎng)址：http...

    nevermind 評論0 收藏0

  • kettle下轉(zhuǎn)移mongo中數(shù)據(jù)到mysql中

    摘要：是一款國外開源的工具，純編寫，可以在上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。 Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。作為一個數(shù)據(jù)抽取工具，在建立數(shù)據(jù)倉庫的過程中，免不了需要從不同的數(shù)據(jù)源中抽取到集中的數(shù)據(jù)倉庫中，下面就拿mongodb抽取到mysql為例，簡述抽取數(shù)據(jù)的步驟： 新建轉(zhuǎn)換:test 在test中新建M...

    Riddler 評論0 收藏0

  • kettle下轉(zhuǎn)移mongo中數(shù)據(jù)到mysql中

    摘要：是一款國外開源的工具，純編寫，可以在上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。 Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。作為一個數(shù)據(jù)抽取工具，在建立數(shù)據(jù)倉庫的過程中，免不了需要從不同的數(shù)據(jù)源中抽取到集中的數(shù)據(jù)倉庫中，下面就拿mongodb抽取到mysql為例，簡述抽取數(shù)據(jù)的步驟： 新建轉(zhuǎn)換:test 在test中新建M...

    beanlam 評論0 收藏0

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<