大數(shù)據(jù)并發(fā)處理SEARCH AGGREGATION
回答:所謂并發(fā)，從概念可以看出其并不是并行，在用戶的角度來看有一種同時(shí)執(zhí)行的錯(cuò)覺，但在數(shù)據(jù)庫內(nèi)部確實(shí)串行的，或者說在某種粒度是串行的。以更新表中某一行數(shù)據(jù)為例，在更新時(shí)會(huì)對(duì)改行數(shù)據(jù)加鎖，避免其它進(jìn)程對(duì)該行的訪問，從而避免數(shù)據(jù)沖突。除此以外，還有其它各種鎖來適應(yīng)不同的場(chǎng)景。所以，我們所謂的并發(fā)場(chǎng)景下，并不會(huì)出現(xiàn)數(shù)據(jù)問題。
shaonbean
|
983人閱讀
回答:使用SQL處理數(shù)據(jù)時(shí)，數(shù)據(jù)會(huì)在數(shù)據(jù)庫內(nèi)直接進(jìn)行處理，而且sql處理本身可以對(duì)sql語句做優(yōu)化，按照最優(yōu)的策略自動(dòng)執(zhí)行。使用Java處理時(shí)，需要把數(shù)據(jù)從數(shù)據(jù)庫讀入到Java程序內(nèi)存，其中有網(wǎng)絡(luò)處理和數(shù)據(jù)封裝的操作，數(shù)據(jù)量比較大時(shí)，有一定的延遲，所以相對(duì)來說數(shù)據(jù)處理就慢一些。當(dāng)然，這個(gè)只是大體示意圖，實(shí)際根據(jù)業(yè)務(wù)不同會(huì)更復(fù)雜。兩者側(cè)重的點(diǎn)不同，有各自適合的業(yè)務(wù)領(lǐng)域，需要根據(jù)實(shí)際情況選用合適的方式。
stefanieliang
|
2108人閱讀
回答:以mysql為列：1：支撐高并發(fā)系統(tǒng)，一定會(huì)涉及事務(wù)，所以數(shù)據(jù)庫引擎必選innodb，innodb支持事務(wù)，事務(wù)級(jí)別根據(jù)業(yè)務(wù)而定，如果業(yè)務(wù)數(shù)據(jù)一致性要求很高，事務(wù)就開啟序列化級(jí)別，這樣就完全隔離事務(wù)，但是會(huì)導(dǎo)致鎖資源競(jìng)爭(zhēng)加劇。mysql的性能有一定的降低。2：讀寫分離，數(shù)據(jù)庫分成主庫和從庫，主庫負(fù)責(zé)寫數(shù)據(jù)，叢庫負(fù)責(zé)讀數(shù)據(jù)。注意主從數(shù)據(jù)庫數(shù)據(jù)一致性問題。3：冷熱數(shù)據(jù)分離，美團(tuán)，餓了么部分設(shè)計(jì)采用冷熱...
Vultr
|
1278人閱讀
回答:我是做JAVA后臺(tái)開發(fā)的，目前為止最多處理過每天600萬左右的數(shù)據(jù)！數(shù)據(jù)不算特別多，但是也算是經(jīng)歷過焦頭爛額，下面淺談下自己和團(tuán)隊(duì)怎么做的？后臺(tái)架構(gòu):前置部門:負(fù)責(zé)接收別的公司推過來的數(shù)據(jù)，因?yàn)槊刻斓臄?shù)據(jù)量較大，且分布不均，使用十分鐘推送一次報(bào)文的方式，使用batch框架進(jìn)行數(shù)據(jù)落地，把落地成功的數(shù)據(jù)某個(gè)字段返回給調(diào)用端，讓調(diào)用端驗(yàn)證是否已經(jīng)全部落地成功的，保證數(shù)據(jù)的一致性！核心處理:使用了spr...
李增田
|
1524人閱讀
回答:目前階段大數(shù)據(jù)技術(shù)及體系已經(jīng)逐漸趨于成熟，不再是以概念貫穿的模式，大數(shù)據(jù)越來越多的被使用，伴隨互聯(lián)網(wǎng)化的發(fā)展更多的企業(yè)信息化已經(jīng)由IT時(shí)代轉(zhuǎn)變?yōu)镈T時(shí)代，以數(shù)據(jù)為核心，用數(shù)據(jù)進(jìn)行決策，基于數(shù)據(jù)驅(qū)動(dòng)企業(yè)的創(chuàng)新與發(fā)展，相信在將來大數(shù)據(jù)也會(huì)有更廣泛的應(yīng)用空間，對(duì)于大數(shù)據(jù)的理解主要分為以下幾個(gè)層面。1.數(shù)據(jù)來源：對(duì)于大數(shù)據(jù)時(shí)代而言更多強(qiáng)調(diào)基于業(yè)務(wù)數(shù)據(jù)的沉淀，在一定規(guī)模的數(shù)據(jù)上進(jìn)行進(jìn)一步的分析、處理、轉(zhuǎn)換，...
arashicage
|
1245人閱讀
回答:在大數(shù)據(jù)領(lǐng)域大概有四個(gè)大的工作方向，除了大數(shù)據(jù)平臺(tái)應(yīng)用及開發(fā)、大數(shù)據(jù)分析與應(yīng)用和大數(shù)據(jù)平臺(tái)集成與運(yùn)維之外，還有大數(shù)據(jù)平臺(tái)架構(gòu)與研發(fā)，除了以上四個(gè)大的工作方向之外，還有一個(gè)工作方向是大數(shù)據(jù)技術(shù)推廣和培訓(xùn)，這部分工作目前也有不少人在從事。大數(shù)據(jù)平臺(tái)架構(gòu)與研發(fā)主要的工作內(nèi)容是研發(fā)底層的大數(shù)據(jù)平臺(tái)，這部分工作的難度較高，從事這部分工作的研發(fā)級(jí)崗位也并不多?，F(xiàn)在不少技術(shù)研發(fā)團(tuán)隊(duì)都以Hadoop、Spark平...
zhangxiangliang
|
3519人閱讀
...行一個(gè)大任務(wù)來縮短執(zhí)行時(shí)間、提高執(zhí)行效率的方法。 數(shù)據(jù)競(jìng)爭(zhēng) 但是好景不長(zhǎng)，周末一盤貨，你發(fā)現(xiàn)少了不少。這辦公室里也沒遭賊，怎么就會(huì)少貨呢？細(xì)細(xì)一查快遞單，你發(fā)現(xiàn)竟然有幾單發(fā)重了。之后的幾天你都細(xì)細(xì)留意了...
...出版的技術(shù)圖書 即將出版的《深入理解XXXXXXXXX》 《海量數(shù)據(jù)處理與大數(shù)據(jù)技術(shù)實(shí)戰(zhàn)》 《MySQL技術(shù)大全：開發(fā)、優(yōu)化與運(yùn)維實(shí)戰(zhàn)》 《深入理解高并發(fā)編程》 《并發(fā)編程核心知識(shí)》 《冰河的滲透實(shí)戰(zhàn)筆記》 《我要進(jìn)大廠系列之面...
...儲(chǔ)的分布式，它們最終目的都是為了實(shí)現(xiàn)計(jì)算的分布式：數(shù)據(jù)在各個(gè)計(jì)算機(jī)節(jié)點(diǎn)上流動(dòng)，同時(shí)各個(gè)計(jì)算機(jī)節(jié)點(diǎn)都能以某種方式訪問共享數(shù)據(jù)，最終分布式計(jì)算后的輸出結(jié)果被持久化存儲(chǔ)和輸出。 分布式作為分布式系統(tǒng)里最重要...
...下這個(gè)應(yīng)用大概是做什么的。 簡(jiǎn)單來說就是從 MQ 中取出數(shù)據(jù)然后丟到后面的業(yè)務(wù)線程池中做具體的業(yè)務(wù)處理。 而報(bào)警的隊(duì)列正好就是這個(gè)線程池的隊(duì)列。 跟蹤代碼發(fā)現(xiàn)構(gòu)建線程池的方式如下： ThreadPoolExecutor executor = new ThreadPoo...
...： 解決由于服務(wù)端與客戶端所在區(qū)域的不同，導(dǎo)致影響數(shù)據(jù)傳輸速度和穩(wěn)定性問題，一句話總結(jié)就是讓數(shù)據(jù)傳輸更快更穩(wěn)定。 CDN有什么優(yōu)勢(shì)？ 1、智能Cache加速，提高企業(yè)站點(diǎn)的訪問速度（含大量圖片或靜態(tài)頁面最適合，因?yàn)镃...
...的時(shí)候是為了實(shí)現(xiàn)基本功能，隨著版本和功能的迭代，大數(shù)據(jù)和高并發(fā)成了軟件設(shè)計(jì)必須考慮的問題! 本質(zhì)很簡(jiǎn)單，一個(gè)是慢，一個(gè)是等。 兩者是相互關(guān)聯(lián)的，因?yàn)槁?，所以要等，因?yàn)榈?，所以慢，解決了慢，也就解決了等，解...
...業(yè)務(wù)在不同的物理點(diǎn)上做，比如web服務(wù)器、應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器，這三個(gè)節(jié)點(diǎn)分開部署在不同的機(jī)器上，共同完成一個(gè)業(yè)務(wù)；分布式的特點(diǎn)是，每個(gè)節(jié)點(diǎn)都不能掛，否則這個(gè)業(yè)務(wù)就不能完成了；當(dāng)然，我們可以給分布式中...
...條指令都是在CPU中執(zhí)行的，而執(zhí)行的時(shí)候，又免不了要和數(shù)據(jù)打交道。而計(jì)算機(jī)上面的數(shù)據(jù)，是存放在主存當(dāng)中的，也就是計(jì)算機(jī)的物理內(nèi)存啦。 剛開始，還相安無事的，但是隨著CPU技術(shù)的發(fā)展，CPU的執(zhí)行速度越來越快。而由...
...條指令都是在CPU中執(zhí)行的，而執(zhí)行的時(shí)候，又免不了要和數(shù)據(jù)打交道。而計(jì)算機(jī)上面的數(shù)據(jù)，是存放在主存當(dāng)中的，也就是計(jì)算機(jī)的物理內(nèi)存啦。 剛開始，還相安無事的，但是隨著CPU技術(shù)的發(fā)展，CPU的執(zhí)行速度越來越快。而由...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺(tái)階。哪里可以獲得...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說合適，...
圖示為GPU性能排行榜，我們可以看到所有GPU的原始相關(guān)性能圖表。同時(shí)根據(jù)訓(xùn)練、推理能力由高到低做了...
