資訊專欄INFORMATION COLUMN
在互聯(lián)網(wǎng)市場(chǎng)的頭部效應(yīng)下，企業(yè)所面臨的競(jìng)爭(zhēng)壓力越來(lái)越大，如何有效解決獲客成本高、用戶黏性低、變現(xiàn)能力弱等問(wèn)題，正是越來(lái)越多的企業(yè)開(kāi)始構(gòu)建大數(shù)據(jù)平臺(tái)的初衷。
但由于大數(shù)據(jù)解決方案所涉及的組件錯(cuò)綜復(fù)雜、技術(shù)門檻較高，且初期投入的資源和后期的維護(hù)成本較大，十分考驗(yàn)企業(yè)的大數(shù)據(jù)平臺(tái)組建和運(yùn)維能力。因此，UCloud大數(shù)據(jù)團(tuán)隊(duì)于近期上線了大數(shù)據(jù)智能平臺(tái)（UCloud Smart Data Platform，下文簡(jiǎn)稱 USDP） ，旨在幫助企業(yè)快速搭建大數(shù)據(jù)分析處理平臺(tái)，并對(duì)大數(shù)據(jù)集群進(jìn)行集中管理，從而降低企業(yè)的大數(shù)據(jù)開(kāi)發(fā)、維護(hù)成本。
USDP是幫助企業(yè)構(gòu)建云端托管型的一站式大數(shù)據(jù)采集、存儲(chǔ)、分析、應(yīng)用和運(yùn)維的智能平臺(tái)。其產(chǎn)品架構(gòu)圖如下：
從上圖可以看出，USDP是構(gòu)建在UCloud公有云IaaS基礎(chǔ)資源之上，提供 Hadoop生態(tài)的服務(wù)系統(tǒng)，如HDFS、Hive、HBase、Spark、Flink、Presto、Atlas、Ranger 等眾多開(kāi)源大數(shù)據(jù)服務(wù)組件，并對(duì)這些組件進(jìn)行配置管理、監(jiān)控告警、故障診斷等智能化的運(yùn)維管理，從而幫助企業(yè)快速構(gòu)建起大數(shù)據(jù)的分析處理能力。
用戶可通過(guò) USDP 方便快速地部署大數(shù)據(jù)集群中的各類服務(wù)與組件，并集中式地運(yùn)維這些組件。且在部署服務(wù)與組件的過(guò)程中，USDP 可以全自動(dòng)化完成整個(gè)流程，大大降低了部署成本。
同時(shí)，USDP 中集成的實(shí)時(shí)監(jiān)控視圖與告警策略可以幫助運(yùn)維人員及時(shí)獲取異常告警信息，快速定位和排查問(wèn)題。
除此之外，USDP 高度集成了 Hadoop 生態(tài)中的服務(wù)與組件，并且全部基于 Apache 版本完成適配，無(wú)深度修改，因此用戶無(wú)需擔(dān)心服務(wù)組件使用過(guò)程中造成的 API 不兼容問(wèn)題，用戶業(yè)務(wù)也無(wú)需擔(dān)心被非 Apache 開(kāi)源協(xié)議之外的服務(wù)框架所綁定。
USDP 作為純國(guó)產(chǎn)化、UCloud自研的大數(shù)據(jù)管理服務(wù)，可以實(shí)現(xiàn)云上、云下交互的便捷統(tǒng)一，其具體特點(diǎn)如下:
全面的組件支持
基于開(kāi)放式的管理架構(gòu)，USDP 集成了 30 余款開(kāi)源的大數(shù)據(jù)組件，涵蓋數(shù)據(jù)集成、數(shù)據(jù)存儲(chǔ)、計(jì)算引擎、任務(wù)調(diào)度、權(quán)限管理等大數(shù)據(jù)處理的各個(gè)環(huán)節(jié)，全面性為業(yè)界之最。企業(yè)可以根據(jù)自身業(yè)務(wù)特點(diǎn)和需求，從中選擇相應(yīng)的組件來(lái)搭建自己的大數(shù)據(jù)處理平臺(tái)。
完善的監(jiān)控告警機(jī)制
源自多年的大數(shù)據(jù)運(yùn)維經(jīng)驗(yàn)積淀，USDP 為每款組件預(yù)置了完善的監(jiān)控和告警模板，豐富的監(jiān)控指標(biāo)和靈活的告警方式，幫助用戶及時(shí)掌握各個(gè)組件的運(yùn)行狀況，進(jìn)行必要的維護(hù)和優(yōu)化。與此同時(shí)，智能化的故障診斷工具和專業(yè)的技術(shù)支持團(tuán)隊(duì)，為大數(shù)據(jù)集群的穩(wěn)定運(yùn)行保駕護(hù)航。
可視化工作流UDS
UDS(UCloud Data Studio)是一款UCloud自研的輕量級(jí)、分布式、易擴(kuò)展的可視化DAG工作流任務(wù)調(diào)度系統(tǒng)。通過(guò)拖拽式的工作流開(kāi)發(fā) IDE，簡(jiǎn)單 Web 式拖拽操作來(lái)完成整個(gè)大數(shù)據(jù)工作流的任務(wù)開(kāi)發(fā)。內(nèi)置了豐富的處理器，多樣化的任務(wù)支持：Shell、Python、Hive、Spark、MR、SQL、子流程等。
UDS提供可視化的流程定義能力，可對(duì)大量異構(gòu)數(shù)據(jù)源提供高速穩(wěn)定的數(shù)據(jù)集成能力，并在同步過(guò)程中實(shí)現(xiàn)對(duì)數(shù)據(jù)的ETL操作。
安全穩(wěn)定
公有云USDP 的底層資源為用戶所獨(dú)享，集群位于獨(dú)立的虛擬私有網(wǎng)絡(luò)中，實(shí)現(xiàn)了有效的安全隔離。同時(shí)，USDP 集成的各個(gè)組件編譯自 Apache 社區(qū)穩(wěn)定版本，經(jīng)過(guò)了嚴(yán)格的兼容性測(cè)試和壓力測(cè)試，關(guān)鍵性組件都支持高可用特性，確保集群穩(wěn)定可靠運(yùn)行。
彈性易用
針對(duì)大數(shù)據(jù)應(yīng)用場(chǎng)景，公有云USDP 提供了豐富多樣的機(jī)型（大數(shù)據(jù)物理機(jī)、普通云主機(jī)、快杰云主機(jī)等）供用戶選擇，并結(jié)合公有云的彈性伸縮能力，有效控制實(shí)際使用成本。向?qū)降牟僮髁鞒毯屯晟频膱?chǎng)景案例，幫助用戶輕松上手。
支持私有化部署
USDP除了與UCloud公有云IaaS集成，還可以作為獨(dú)立的大數(shù)據(jù)組件管理平臺(tái)部署在私有化的數(shù)據(jù)中心，并兼容虛擬機(jī)、物理服務(wù)器環(huán)境。為私有化部署的客戶提供與公有云體驗(yàn)一致的大數(shù)據(jù)平臺(tái)服務(wù)。
UCloud還提供基于USDP的軟硬一體交付方案，已提前預(yù)裝完成USDP服務(wù)，實(shí)現(xiàn)用戶插電即用的大數(shù)據(jù)平臺(tái)管理服務(wù)。
1、數(shù)據(jù)倉(cāng)庫(kù)
目前國(guó)內(nèi)最常用的數(shù)倉(cāng)模型為維度數(shù)倉(cāng)，就是按照事實(shí)表、維度表來(lái)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市。在該體系中，維度是描述事實(shí)的角度，如日期、客戶、供應(yīng)商等，事實(shí)是要度量的指標(biāo)，如客戶數(shù)、銷售額等。通過(guò) USDP，用戶可以部署構(gòu)建維度數(shù)倉(cāng)所需的一切服務(wù)，幫助企業(yè)快速構(gòu)建數(shù)據(jù)中臺(tái)。
2、機(jī)器學(xué)習(xí)
在機(jī)器學(xué)習(xí)領(lǐng)域，對(duì)運(yùn)算往往有大量需求，通過(guò) USDP 中的Spark、Flink 等分布式運(yùn)算框架，搭配官方算法或自研算法，即可事半功倍的進(jìn)行機(jī)器學(xué)習(xí)開(kāi)發(fā)。同時(shí)，在深度學(xué)習(xí)領(lǐng)域，建模所需的大量數(shù)據(jù)，也可以存儲(chǔ)于 HDFS，從而真正實(shí)現(xiàn)一站式開(kāi)發(fā)。
3、實(shí)時(shí)計(jì)算
可以利用USDP中的Kafka、Flink、Spark Streaming對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，來(lái)滿足實(shí)時(shí)風(fēng)控、實(shí)時(shí)推薦、實(shí)時(shí)日志分析、實(shí)時(shí)點(diǎn)擊等場(chǎng)景需求。
大數(shù)據(jù)時(shí)代，數(shù)據(jù)作為企業(yè)的核心生產(chǎn)要素，其隱藏的商業(yè)價(jià)值離不開(kāi)大數(shù)據(jù)技術(shù)的深度挖掘，而USDP的推出正是為了解決目前企業(yè)構(gòu)建大數(shù)據(jù)解決方案所面臨的高成本、高技術(shù)門檻等問(wèn)題，助力更多企業(yè)快速構(gòu)建大數(shù)據(jù)服務(wù)，充分釋放數(shù)據(jù)生產(chǎn)力的商業(yè)價(jià)值。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/125921.html
摘要：企業(yè)微信截圖企業(yè)微信截圖兼容最廣的一站式智能大數(shù)據(jù)平臺(tái)涵蓋了等眾多開(kāi)源大數(shù)據(jù)組件，支持對(duì)這些組件進(jìn)行運(yùn)維中臺(tái)建設(shè)數(shù)據(jù)開(kāi)發(fā)業(yè)務(wù)可視化等全棧式大數(shù)據(jù)開(kāi)發(fā)運(yùn)維管理。通過(guò)一站式智能大數(shù)據(jù)平臺(tái)支持的等分布式運(yùn)算框架，可以高效的進(jìn)行機(jī)器學(xué)習(xí)應(yīng)用開(kāi)發(fā)。背景在大數(shù)據(jù)業(yè)務(wù)系統(tǒng)中，所有技術(shù)棧生態(tài)均是圍繞著存儲(chǔ)進(jìn)行擴(kuò)展的，目前開(kāi)源的主流存儲(chǔ)技術(shù)棧主要包含如下 3 種類型：· HDFS：Hadoop 系列套件，包含...
摘要：機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)通過(guò)算法對(duì)大量數(shù)據(jù)進(jìn)行分析，挖掘出其中蘊(yùn)含的規(guī)律，并用于事物預(yù)測(cè)或者分類，有大量的計(jì)算需求。通過(guò)一站式智能大數(shù)據(jù)平臺(tái)支持的等分布式運(yùn)算框架，可以高效的進(jìn)行機(jī)器學(xué)習(xí)應(yīng)用開(kāi)發(fā)。在大數(shù)據(jù)業(yè)務(wù)系統(tǒng)中，所有技術(shù)棧生態(tài)均是圍繞著存儲(chǔ)進(jìn)行擴(kuò)展的，目前開(kāi)源的主流存儲(chǔ)技術(shù)棧主要包含如下 3 種類型：· HDFS：Hadoop 系列套件，包含 Hive、Hbase、Phoenix 等；· Ela...
摘要：幫助企業(yè)快速搭建和使用大數(shù)據(jù)平臺(tái)，降低大數(shù)據(jù)開(kāi)發(fā)運(yùn)維成本。發(fā)布范圍北京二可用區(qū)灰度中。機(jī)型快杰版的數(shù)據(jù)庫(kù)實(shí)例，采用業(yè)內(nèi)主流的計(jì)算存儲(chǔ)分離架構(gòu)計(jì)算層使用高性能快杰云主機(jī)，存儲(chǔ)層采用超高性能云盤。UCloud PyPI私有源上線PyPI是Python官方的第三方庫(kù)的倉(cāng)庫(kù)，為解決默認(rèn)官方源在國(guó)內(nèi)的訪問(wèn)速度受限，并發(fā)請(qǐng)求受限，經(jīng)常出現(xiàn)丟包、超時(shí)等問(wèn)題，UCloud 近期上線了PyPI私有源。PyPI...
摘要：大數(shù)據(jù)管理一站式業(yè)界最強(qiáng)大數(shù)據(jù)組件管理魔方，一個(gè)平臺(tái)納管所有服務(wù)組件大數(shù)據(jù)運(yùn)維自動(dòng)化一鍵式環(huán)境檢查及集群部署，輕量級(jí)智能化的平臺(tái)操作體驗(yàn)基于多年在公有云領(lǐng)域，以及大數(shù)據(jù)產(chǎn)品服務(wù)的經(jīng)驗(yàn)沉淀，構(gòu)建于云服務(wù)之上，無(wú)縫集成云端資源能力。全球數(shù)字經(jīng)濟(jì)快速發(fā)展，據(jù)IDC預(yù)測(cè)：在未來(lái)的兩年內(nèi)，企業(yè)數(shù)據(jù)將以每年42.2%的速度迅猛增長(zhǎng)。這些海量數(shù)據(jù)匯聚之后，經(jīng)過(guò)管理、運(yùn)營(yíng)、分析等一系列操作，不僅有助于為企業(yè)...
摘要：近日，德陽(yáng)市智慧工業(yè)管理云平臺(tái)服務(wù)采購(gòu)項(xiàng)目競(jìng)爭(zhēng)性談判采購(gòu)發(fā)布公告，優(yōu)刻得旗下四川優(yōu)刻得智云數(shù)聯(lián)科技有限公司以萬(wàn)元中標(biāo)該項(xiàng)。近日，德陽(yáng)市智慧工業(yè)管理云平臺(tái)服務(wù)采購(gòu)項(xiàng)目競(jìng)爭(zhēng)性談判采購(gòu)發(fā)布公告，UCloud優(yōu)刻得旗下四川優(yōu)刻得智云數(shù)聯(lián)科技有限公司以5082.30萬(wàn)元中標(biāo)該項(xiàng)。從底層到應(yīng)用的全棧智慧工業(yè)管理云平臺(tái)德陽(yáng)智慧工業(yè)管理云平臺(tái)，將幫助德陽(yáng)政府切實(shí)掌握企業(yè)在工作中的基礎(chǔ)數(shù)據(jù)、過(guò)程數(shù)據(jù)、運(yùn)行數(shù)據(jù)...
閱讀 3546·2023-04-25 20:09
閱讀 3745·2022-06-28 19:00
閱讀 3066·2022-06-28 19:00
閱讀 3092·2022-06-28 19:00
閱讀 3185·2022-06-28 19:00
閱讀 2886·2022-06-28 19:00
閱讀 3057·2022-06-28 19:00
閱讀 2642·2022-06-28 19:00
