大數(shù)據(jù)的架構(gòu)SEARCH AGGREGATION
回答:這個太范化了吧。大數(shù)據(jù)架構(gòu)選擇的方案就有很多，海量數(shù)據(jù)的即席查詢本省就是業(yè)內(nèi)目前的痛點(diǎn)，暫時沒有太好的解決方案，kylin等框架也只是一個折中方案，如果你不是要求海量數(shù)據(jù)分析的秒級響應(yīng)的話sparkSql、presto等都是不錯的方案，分鐘級別可以返回。
Paul_King
|
748人閱讀
回答:現(xiàn)在有幸參與傳統(tǒng)銀行數(shù)字化轉(zhuǎn)型，負(fù)責(zé)技術(shù)架構(gòu)部分的轉(zhuǎn)型設(shè)計(jì)。高性能的數(shù)據(jù)架構(gòu)（High Performance Data Architecture），正是我們架構(gòu)轉(zhuǎn)型的重點(diǎn)。隨著科技的蓬勃發(fā)展、社交網(wǎng)絡(luò)的廣泛使用、線上消費(fèi)的普及、數(shù)據(jù)挖掘的技術(shù)提升等大趨勢，全球銀行業(yè)正迎來一場聲勢浩大的數(shù)字化創(chuàng)新浪潮。數(shù)字化為消費(fèi)者的生活及行為模式帶來翻天覆地的變化，也孵化出一批新型的金融科技(Fintech)競...
Lowky
|
604人閱讀
回答:以mysql為列：1：支撐高并發(fā)系統(tǒng)，一定會涉及事務(wù)，所以數(shù)據(jù)庫引擎必選innodb，innodb支持事務(wù)，事務(wù)級別根據(jù)業(yè)務(wù)而定，如果業(yè)務(wù)數(shù)據(jù)一致性要求很高，事務(wù)就開啟序列化級別，這樣就完全隔離事務(wù)，但是會導(dǎo)致鎖資源競爭加劇。mysql的性能有一定的降低。2：讀寫分離，數(shù)據(jù)庫分成主庫和從庫，主庫負(fù)責(zé)寫數(shù)據(jù)，叢庫負(fù)責(zé)讀數(shù)據(jù)。注意主從數(shù)據(jù)庫數(shù)據(jù)一致性問題。3：冷熱數(shù)據(jù)分離，美團(tuán)，餓了么部分設(shè)計(jì)采用冷熱...
Vultr
|
1419人閱讀
回答:近年來，大數(shù)據(jù)非?；?，人人都談大數(shù)據(jù)。但也有人認(rèn)為，大數(shù)據(jù)是華而不實(shí)，沒有什么實(shí)際意義。那么大數(shù)據(jù)究竟是什么？大數(shù)據(jù)能為我們帶來什么呢？我們一起來看一看。大數(shù)據(jù)是什么？對于很多人來說，當(dāng)?shù)谝淮温牭酱髷?shù)據(jù)這個詞的時候，就會自然而然地從字面上去理解：大數(shù)據(jù)就是大量的數(shù)據(jù)，大數(shù)據(jù)技術(shù)就是大量數(shù)據(jù)的存儲和處理技術(shù)。然而，事實(shí)并非如此，大數(shù)據(jù)比我們一般的想象更為復(fù)雜。大數(shù)據(jù)技術(shù)不只是一項(xiàng)數(shù)據(jù)處理和存儲的技術(shù)...
Julylovin
|
680人閱讀
回答:這是一個非常好的問題，作為一名IT從業(yè)者，同時也在帶大數(shù)據(jù)方向的研究生，所以我來回答一下這個問題。首先，從技術(shù)體系結(jié)構(gòu)上來看，當(dāng)前的大數(shù)據(jù)技術(shù)已經(jīng)趨于成熟了，在數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)呈現(xiàn)和數(shù)據(jù)應(yīng)用等方面，已經(jīng)形成了一整套技術(shù)框架，相關(guān)的技術(shù)生態(tài)也在不斷完善當(dāng)中。當(dāng)前大型科技公司也開始逐漸形成自己的大數(shù)據(jù)平臺，不同平臺也都有自身的技術(shù)特點(diǎn)，總的來說，當(dāng)前在技術(shù)上已經(jīng)為大數(shù)據(jù)的行業(yè)應(yīng)用創(chuàng)新奠定了基礎(chǔ)...
alexnevsky
|
1353人閱讀
回答:數(shù)據(jù)已被國家層面定義為共創(chuàng)共享、可分配的生產(chǎn)要素，這必將極大的助力大數(shù)據(jù)在2020年的發(fā)展。這里，簡單說幾點(diǎn)來年的發(fā)展趨勢：1.脫敏流通可分配即可流通，但是一定是合規(guī)、合法的。怎樣才能合規(guī)、合法？這得依靠一些底層的公允脫敏技術(shù)，不具體指向某個具體用戶，不可復(fù)原數(shù)據(jù)信息……有哪些就不說了。2.融合交互經(jīng)過公允的底層技術(shù)轉(zhuǎn)換之后，數(shù)據(jù)就有了合法合規(guī)流通的基本前提，這個前提一旦具備，跨企業(yè)、平臺之間的數(shù)...
xingqiba
|
1240人閱讀
...藝術(shù)節(jié)上，Motley Fool的Tim Byers說過：在很多方面，云和大數(shù)據(jù)越來越密不可分且功能相似-云資源用來支撐大數(shù)據(jù)的存儲及項(xiàng)目，而且大數(shù)據(jù)相對于云來說是一個龐大的業(yè)務(wù)案例。大數(shù)據(jù)和云技術(shù)的最終聯(lián)姻，必定是天作之合。 ?...
...應(yīng)用都需要有 APM 體系，可以隨時分析性能的情況；在大數(shù)據(jù)時代，隨著數(shù)據(jù)規(guī)模的增加以及硬件計(jì)算能力的提升，數(shù)據(jù)庫的使用也發(fā)生了重大的變化；最重要的，整個 DevOps 也在進(jìn)化到人工智能時代，監(jiān)控、服務(wù)治理、調(diào)度這...
...應(yīng)用都需要有 APM 體系，可以隨時分析性能的情況；在大數(shù)據(jù)時代，隨著數(shù)據(jù)規(guī)模的增加以及硬件計(jì)算能力的提升，數(shù)據(jù)庫的使用也發(fā)生了重大的變化；最重要的，整個 DevOps 也在進(jìn)化到人工智能時代，監(jiān)控、服務(wù)治理、調(diào)度這...
大數(shù)據(jù)分布式存儲的部署模式：分離式or超融合數(shù)據(jù)中心內(nèi)部系統(tǒng)的核心要求是穩(wěn)定可靠，一是指系統(tǒng)在運(yùn)行過程中有能力提供連續(xù)可靠的服務(wù)，長時間無故障運(yùn)行；二是指當(dāng)故障發(fā)生之后，有能力快速定位，及時排查，...
...、微服務(wù)架構(gòu)及 Serverless、中間件平臺、容器、AI DevOps、數(shù)據(jù)庫、大前端、Fintech、機(jī)器學(xué)習(xí)、人工智能、智能硬件、效率管理等 20 個技術(shù)專題。 史海峰、惠新宸、袁進(jìn)輝、沈劍、陳皓等經(jīng)驗(yàn)豐富的一線技術(shù)團(tuán)隊(duì)帶頭人現(xiàn)場分享...
...、微服務(wù)架構(gòu)及 Serverless、中間件平臺、容器、AI DevOps、數(shù)據(jù)庫、大前端、Fintech、機(jī)器學(xué)習(xí)、人工智能、智能硬件、效率管理等 20 個技術(shù)專題。 史海峰、惠新宸、袁進(jìn)輝、沈劍、陳皓等經(jīng)驗(yàn)豐富的一線技術(shù)團(tuán)隊(duì)帶頭人現(xiàn)場分享...
本文授權(quán)轉(zhuǎn)載自公眾號蛋蛋團(tuán)。 01 數(shù)據(jù)中心是什么 數(shù)據(jù)中心，指用于安置計(jì)算機(jī)系統(tǒng)及相關(guān)部件的設(shè)施，例如電信和儲存系統(tǒng)。 為了滿足自身的業(yè)務(wù)需求，保證數(shù)據(jù)的穩(wěn)定和可靠。無論是互聯(lián)網(wǎng)還是傳統(tǒng)行業(yè)，都會有自己...
大數(shù)據(jù)正在徹底改變IT世界。那么，什么樣的數(shù)據(jù)談得上數(shù)據(jù)呢? ? 根據(jù)IDC的報(bào)告，未來十年全球大數(shù)據(jù)將增加50倍。僅在2011年，我們就將看到1.8ZB(也就是1.8萬億GB)的大數(shù)據(jù)創(chuàng)建產(chǎn)生。這相當(dāng)于每位美國人每分鐘寫3條Tweet，而...
?????? 大數(shù)據(jù)正在徹底改變IT世界。那么，什么樣的數(shù)據(jù)談得上數(shù)據(jù)呢? 根據(jù)IDC的報(bào)告，未來十年全球大數(shù)據(jù)將增加50倍。僅在2011年，我們就將看到1.8ZB(也就是1.8萬億GB)的大數(shù)據(jù)創(chuàng)建產(chǎn)生。這相當(dāng)于每位美國人每分鐘寫3條...
摘要：友盟大數(shù)據(jù)平臺的架構(gòu)借鑒了Lambda架構(gòu)思想，數(shù)據(jù)接入層讓Kafka集群承擔(dān)，后面由Storm消費(fèi)，存儲在MongoDB里面，通過Kafka自帶的Mirror功能同步，兩個Kafka集群，可以分離負(fù)載；計(jì)算有離線和實(shí)時兩部分，實(shí)時是Storm，離線...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺階。哪里可以獲得...
一、活動亮點(diǎn)：全球31個節(jié)點(diǎn)覆蓋 + 線路升級，跨境業(yè)務(wù)福音！爆款云主機(jī)0.5折起：香港、海外多節(jié)點(diǎn)...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說合適，...
