資訊專欄INFORMATION COLUMN
摘要：相比其他開源的工具和其他商業(yè)的工具，對比下來還是比較強(qiáng)大和好用。
1.為什么要使用數(shù)據(jù)抽取
（1）為了不妨礙業(yè)務(wù)數(shù)據(jù)的讀取和寫入，需要進(jìn)行數(shù)據(jù)的抽取，抽取到另外數(shù)據(jù)庫表進(jìn)行讀取
（2）對某些總計數(shù)據(jù)可以進(jìn)行預(yù)先計算， 抽取到另外數(shù)據(jù)庫表
（3）隨訪業(yè)務(wù)數(shù)據(jù)庫為mongodb , 統(tǒng)計程序編程效率低，需要轉(zhuǎn)成sql 類數(shù)據(jù)庫提高效率
使用 kettle 開源etl工具
網(wǎng)址：http://community.pentaho.com/projects/data-integration/
總體來講，就是這么個步驟：
選擇數(shù)據(jù)輸入——中間數(shù)據(jù)處理——最后數(shù)據(jù)輸出
比如從mongodb 同步到 sqlserver過程如下：
（1）選擇核心對象中的bigdata MongoDB Input (數(shù)據(jù)輸入) (2)進(jìn)行數(shù)據(jù)處理 （這里篩選了需要抽取的字段） （3）選擇插入更新輸出 4.總結(jié)數(shù)據(jù)輸入的形式很多，各種形式的數(shù)據(jù)都可以做為一手?jǐn)?shù)據(jù)源， kettle 數(shù)據(jù)轉(zhuǎn)換的功能也很強(qiáng)大， 還可以進(jìn)行 java ,javascript 等腳本的編寫來進(jìn)行高級的數(shù)據(jù)處理， 最后得到需要的數(shù)據(jù)。
相比其他開源的etl工具和其他商業(yè)的etl工具，對比下來 kettle還是比較強(qiáng)大和好用。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/18847.html
摘要：是一款國外開源的工具，純編寫，可以在上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。 Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。作為一個數(shù)據(jù)抽取工具，在建立數(shù)據(jù)倉庫的過程中，免不了需要從不同的數(shù)據(jù)源中抽取到集中的數(shù)據(jù)倉庫中，下面就拿mongodb抽取到mysql為例，簡述抽取數(shù)據(jù)的步驟： 新建轉(zhuǎn)換:test 在test中新建M...
摘要：是一款國外開源的工具，純編寫，可以在上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。 Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。作為一個數(shù)據(jù)抽取工具，在建立數(shù)據(jù)倉庫的過程中，免不了需要從不同的數(shù)據(jù)源中抽取到集中的數(shù)據(jù)倉庫中，下面就拿mongodb抽取到mysql為例，簡述抽取數(shù)據(jù)的步驟： 新建轉(zhuǎn)換:test 在test中新建M...
摘要：如銷售數(shù)據(jù)跟部門表，客戶表之間的關(guān)系。而查詢，又是這三者之間的粘合劑，它表達(dá)了用戶的需求，經(jīng)過引擎的解析，根據(jù)數(shù)據(jù)模型的描述，從數(shù)據(jù)倉庫找到所需要的數(shù)據(jù)。 本文來自網(wǎng)易云社區(qū) 作者：王攀 我們知道，大部分公司都擁有了自己的財務(wù)，OA，CRM 等系統(tǒng)。這些系統(tǒng)都有自己的獨(dú)立數(shù)據(jù)庫，記錄著企業(yè)運(yùn)行情況某個方面的數(shù)據(jù)。但是單獨(dú)看這些系統(tǒng)的報表，并不一定能對企業(yè)運(yùn)行情況有全面客觀的了解。就像只...
閱讀 3573·2023-04-26 00:05
閱讀 960·2021-11-11 16:55
閱讀 3539·2021-09-26 09:46
閱讀 3525·2019-08-30 15:56
閱讀 919·2019-08-30 15:55
閱讀 2942·2019-08-30 15:53
閱讀 1954·2019-08-29 17:11
閱讀 822·2019-08-29 16:52
