摘要:核心優(yōu)勢(shì)實(shí)時(shí)性可以實(shí)時(shí)進(jìn)行數(shù)據(jù)質(zhì)量檢測(cè),能夠及時(shí)發(fā)現(xiàn)問(wèn)題??缮炜s性工作在大數(shù)據(jù)量的環(huán)境中,目前運(yùn)行的數(shù)據(jù)量約環(huán)境。自助服務(wù)提供了一個(gè)簡(jiǎn)單的用戶界面,可以創(chuàng)建數(shù)據(jù)集以及相應(yīng)規(guī)則同時(shí)用戶可以查看數(shù)據(jù)質(zhì)量控制面板和自定義顯示內(nèi)容歡迎,多多益善
Bark是eBay開發(fā)的一種應(yīng)用于分布式數(shù)據(jù)系統(tǒng)中的開源數(shù)據(jù)質(zhì)量解決方案,例如在Hadoop, Spark, Storm等分布式系統(tǒng)中,Bark提供了一整套統(tǒng)一的流程來(lái)定義、測(cè)量數(shù)據(jù)集的質(zhì)量并及時(shí)報(bào)告問(wèn)題。
主要特性:
1.精確度檢測(cè):驗(yàn)證結(jié)果集數(shù)據(jù)是否與源數(shù)據(jù)是一致的
2.數(shù)據(jù)剖析:利用數(shù)據(jù)集的一致性、獨(dú)特性和邏輯性,來(lái)進(jìn)行統(tǒng)計(jì)分析和數(shù)值評(píng)估。
3.異常監(jiān)測(cè):利用預(yù)先設(shè)定的算法,檢測(cè)出不符合預(yù)期的數(shù)據(jù)
4.可視化監(jiān)測(cè):利用控制面板來(lái)展現(xiàn)數(shù)據(jù)質(zhì)量的狀態(tài)。
核心優(yōu)勢(shì):
1.實(shí)時(shí)性:可以實(shí)時(shí)進(jìn)行數(shù)據(jù)質(zhì)量檢測(cè),能夠及時(shí)發(fā)現(xiàn)問(wèn)題。
2.可擴(kuò)展性:可以用于多個(gè)數(shù)據(jù)系統(tǒng)。
3.可伸縮性:工作在大數(shù)據(jù)量的環(huán)境中,目前運(yùn)行的數(shù)據(jù)量約1.2PB (eBay環(huán)境)。
4.自助服務(wù):Bark提供了一個(gè)簡(jiǎn)單的用戶界面,可以創(chuàng)建數(shù)據(jù)集以及相應(yīng)規(guī)則;同時(shí)用戶可以查看數(shù)據(jù)質(zhì)量控制面板和自定義顯示內(nèi)容
GitHub: https://github.com/eBay/griffin 歡迎fork,多多益善!
Contact us: [email protected]
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/65113.html
摘要:如今年已過(guò)大半,雖然沒有大理想抱負(fù),但是卻有自己的小計(jì)劃。項(xiàng)目案例項(xiàng)目一支付服務(wù)簡(jiǎn)介支付服務(wù)支付寶微信銀聯(lián)詳細(xì)代碼案例,目前已經(jīng)。這個(gè)是自月以來(lái)最上心的一個(gè)項(xiàng)目,盡管只是一個(gè)案例,但是從中也學(xué)到了不少知識(shí)。 showImg(https://blog.52itstyle.vip/usr/uploads/2018/08/2263751128.jpg); 前言 2017年,曾在自己的博客中寫...
摘要:項(xiàng)目地址前言大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖大數(shù)據(jù)常用軟件安裝指南一分布式文件存儲(chǔ)系統(tǒng)分布式計(jì)算框架集群資源管理器單機(jī)偽集群環(huán)境搭建集群環(huán)境搭建常用命令的使用基于搭建高可用集群二簡(jiǎn)介及核心概念環(huán)境下的安裝部署和命令行的基本使用常用操作分區(qū)表和分桶表視圖 項(xiàng)目GitHub地址:https://github.com/heibaiying... 前 言 大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖 大數(shù)據(jù)常用軟件安裝指...
摘要:項(xiàng)目是什么是對(duì)的接口使用的最新標(biāo)準(zhǔn)進(jìn)行而面向?qū)ο蟮姆庋b,從而屏蔽了底層的接口復(fù)雜性,加快開發(fā)擴(kuò)展的效率。國(guó)內(nèi)同類型的項(xiàng)目推薦目前國(guó)內(nèi)有一個(gè)跟比較類似的項(xiàng)目,這個(gè)項(xiàng)目是項(xiàng)目作者開發(fā),值得推薦。項(xiàng)目名字項(xiàng)目的地址是大家有興趣可以研究。 項(xiàng)目Logo showImg(https://segmentfault.com/img/bVVtW8?w=716&h=218); zendAPI 是什么? ...
摘要:簡(jiǎn)介這是一個(gè)的排版顯示引擎和跨平臺(tái)的應(yīng)用程序開發(fā)框架,基于,這也是第一個(gè)在移動(dòng)端融合的前端項(xiàng)目,至此成為了真正意義上前后端通吃的語(yǔ)言。的目標(biāo)在此基礎(chǔ)上開發(fā)應(yīng)用程序可擁有開發(fā)應(yīng)用般簡(jiǎn)單與速度同時(shí)兼顧應(yīng)用程序的性能與體驗(yàn)。 Ngui簡(jiǎn)介 這是一個(gè)GUI的排版顯示引擎和跨平臺(tái)的GUI應(yīng)用程序開發(fā)框架,基于NodeJS/OpenGL,這也是第一個(gè)在移動(dòng)端Android/iOS融合NodeJS的...
閱讀 5296·2021-09-22 15:50
閱讀 1880·2021-09-02 15:15
閱讀 1177·2019-08-29 12:49
閱讀 2553·2019-08-26 13:31
閱讀 3471·2019-08-26 12:09
閱讀 1220·2019-08-23 18:17
閱讀 2747·2019-08-23 17:56
閱讀 2937·2019-08-23 16:02