數(shù)倉精品文章

• 

  OPPO數(shù)據(jù)中臺(tái)之基石：基于Flink SQL構(gòu)建實(shí)數(shù)據(jù)倉庫

  ...也是 Apache Flink contributor。本文主要內(nèi)容如下： OPPO 實(shí)時(shí)數(shù)倉的演進(jìn)思路； 基于 Flink SQL 的擴(kuò)展工作； 構(gòu)建實(shí)時(shí)數(shù)倉的應(yīng)用案例； 未來工作的思考和展望。 一.OPPO 實(shí)時(shí)數(shù)倉的演進(jìn)思路 1.1.OPPO 業(yè)務(wù)與數(shù)據(jù)規(guī)模 大家都知道 OPPO 是...

  jeffrey_up 2019-07-24 10:55 評(píng)論0 收藏0
• 

  Data Lakehouse數(shù)據(jù)湖到底是什么呢？

  ...我們都在使用兩種數(shù)據(jù)存儲(chǔ)方式來架構(gòu)數(shù)據(jù)：數(shù)據(jù)倉庫：數(shù)倉這樣的一種數(shù)據(jù)存儲(chǔ)架構(gòu)，它主要存儲(chǔ)的是以關(guān)系型數(shù)據(jù)庫組織起來的結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)通過轉(zhuǎn)換、整合以及清理，并導(dǎo)入到目標(biāo)表中。在數(shù)倉中，數(shù)據(jù)存儲(chǔ)的結(jié)構(gòu)與...

  Tecode 2022-06-28 18:59 評(píng)論0 收藏0
• 

  為什么我們需要數(shù)據(jù)湖?

  ...比文件系統(tǒng)更差除了實(shí)時(shí)數(shù)據(jù)載體的問題，還有引入實(shí)時(shí)數(shù)倉后，和離線數(shù)倉的統(tǒng)一的問題，比如實(shí)時(shí)數(shù)倉的數(shù)據(jù)治理、權(quán)限管理，是不是要單獨(dú)做一套？如何統(tǒng)一實(shí)時(shí)數(shù)據(jù)和離線數(shù)據(jù)的計(jì)算口徑？兩套數(shù)據(jù)系統(tǒng)的資源浪費(fèi)嚴(yán)重...

  Tecode 2022-06-28 18:59 評(píng)論0 收藏0
• 

  ES寫入性能優(yōu)化

  背景: 有1億多的用戶畫像中數(shù)倉需要導(dǎo)入ES。大多數(shù)字段都是sql統(tǒng)計(jì)數(shù)據(jù)，無法區(qū)分哪些發(fā)生了變化，所以不能增量更新。只能每天全量刷數(shù)據(jù)。在刷數(shù)據(jù)的過程中出現(xiàn)了更新緩慢、內(nèi)存問題。于是做了一些寫入優(yōu)化。 * 解...

  dailybird 2019-08-16 15:24 評(píng)論0 收藏0
• 

  深入解讀：獲Forrester大數(shù)據(jù)能力高評(píng)價(jià)的阿里云DataWorks思路與能力

  ...，全球主要的四家云服務(wù)公司，得以超越Oracle、IBM等老牌數(shù)倉技術(shù)公司，成為一線CDW供應(yīng)商的原因。 得益于阿里巴巴多年的數(shù)據(jù)利用經(jīng)驗(yàn)沉淀，DataWorks在部署模式、數(shù)據(jù)集成、分析手段、數(shù)據(jù)安全等各方面都實(shí)現(xiàn)了與企業(yè)級(jí)需...

  ashe 2019-06-24 17:59 評(píng)論0 收藏0
• 

  深入解讀：獲Forrester大數(shù)據(jù)能力高評(píng)價(jià)的阿里云DataWorks思路與能力

  ...，全球主要的四家云服務(wù)公司，得以超越Oracle、IBM等老牌數(shù)倉技術(shù)公司，成為一線CDW供應(yīng)商的原因。 得益于阿里巴巴多年的數(shù)據(jù)利用經(jīng)驗(yàn)沉淀，DataWorks在部署模式、數(shù)據(jù)集成、分析手段、數(shù)據(jù)安全等各方面都實(shí)現(xiàn)了與企業(yè)級(jí)需...

  caoym 2019-06-21 16:43 評(píng)論0 收藏0
• 

  功能簡介 智能大數(shù)據(jù)平臺(tái) USDP

  ...式計(jì)算引擎FLUME1.9.0數(shù)據(jù)采集與轉(zhuǎn)儲(chǔ)服務(wù)HIVE2.3.6常用的HQL數(shù)倉工具IMPALA2.10.0分布式計(jì)算服務(wù)KYLIN3.1.0數(shù)倉維度建模服務(wù)LIVY0.7.0Spark的REST服務(wù)PHOENIX4.14.3HBaseSQL化查詢分析工具PRESTO0.234分布式計(jì)算服務(wù)SPARK2.4.6分布式計(jì)算引擎SQOOP1.4.7數(shù)據(jù)...

  ernest.wang 2022-07-12 17:24 評(píng)論0 收藏2278
• 

  深入解讀：獲Forrester大數(shù)據(jù)能力高評(píng)價(jià)的阿里云DataWorks思路與能力

  ...，全球主要的四家云服務(wù)公司，得以超越Oracle、IBM等老牌數(shù)倉技術(shù)公司，成為一線CDW供應(yīng)商的原因。 得益于阿里巴巴多年的數(shù)據(jù)利用經(jīng)驗(yàn)沉淀，DataWorks在部署模式、數(shù)據(jù)集成、分析手段、數(shù)據(jù)安全等各方面都實(shí)現(xiàn)了與企業(yè)級(jí)需...

  pinecone 2019-06-24 17:59 評(píng)論0 收藏0
• 

  深入解讀：獲Forrester大數(shù)據(jù)能力高評(píng)價(jià)的阿里云DataWorks思路與能力

  ...，全球主要的四家云服務(wù)公司，得以超越Oracle、IBM等老牌數(shù)倉技術(shù)公司，成為一線CDW供應(yīng)商的原因。 得益于阿里巴巴多年的數(shù)據(jù)利用經(jīng)驗(yàn)沉淀，DataWorks在部署模式、數(shù)據(jù)集成、分析手段、數(shù)據(jù)安全等各方面都實(shí)現(xiàn)了與企業(yè)級(jí)需...

  hufeng 2019-06-21 16:42 評(píng)論0 收藏0