回答:我是做JAVA后臺(tái)開發(fā)的,目前為止最多處理過每天600萬左右的數(shù)據(jù)!數(shù)據(jù)不算特別多,但是也算是經(jīng)歷過焦頭爛額,下面淺談下自己和團(tuán)隊(duì)怎么做的?后臺(tái)架構(gòu):前置部門:負(fù)責(zé)接收別的公司推過來的數(shù)據(jù),因?yàn)槊刻斓臄?shù)據(jù)量較大,且分布不均,使用十分鐘推送一次報(bào)文的方式,使用batch框架進(jìn)行數(shù)據(jù)落地,把落地成功的數(shù)據(jù)某個(gè)字段返回給調(diào)用端,讓調(diào)用端驗(yàn)證是否已經(jīng)全部落地成功的,保證數(shù)據(jù)的一致性!核心處理:使用了spr...
回答:使用SQL處理數(shù)據(jù)時(shí),數(shù)據(jù)會(huì)在數(shù)據(jù)庫內(nèi)直接進(jìn)行處理,而且sql處理本身可以對sql語句做優(yōu)化,按照最優(yōu)的策略自動(dòng)執(zhí)行。使用Java處理時(shí),需要把數(shù)據(jù)從數(shù)據(jù)庫讀入到Java程序內(nèi)存,其中有網(wǎng)絡(luò)處理和數(shù)據(jù)封裝的操作,數(shù)據(jù)量比較大時(shí),有一定的延遲,所以相對來說數(shù)據(jù)處理就慢一些。當(dāng)然,這個(gè)只是大體示意圖,實(shí)際根據(jù)業(yè)務(wù)不同會(huì)更復(fù)雜。兩者側(cè)重的點(diǎn)不同,有各自適合的業(yè)務(wù)領(lǐng)域,需要根據(jù)實(shí)際情況選用合適的方式。
回答:近年來,大數(shù)據(jù)非?;?,人人都談大數(shù)據(jù)。但也有人認(rèn)為,大數(shù)據(jù)是華而不實(shí),沒有什么實(shí)際意義。那么大數(shù)據(jù)究竟是什么?大數(shù)據(jù)能為我們帶來什么呢?我們一起來看一看。大數(shù)據(jù)是什么?對于很多人來說,當(dāng)?shù)谝淮温牭酱髷?shù)據(jù)這個(gè)詞的時(shí)候,就會(huì)自然而然地從字面上去理解:大數(shù)據(jù)就是大量的數(shù)據(jù),大數(shù)據(jù)技術(shù)就是大量數(shù)據(jù)的存儲(chǔ)和處理技術(shù)。然而,事實(shí)并非如此,大數(shù)據(jù)比我們一般的想象更為復(fù)雜。大數(shù)據(jù)技術(shù)不只是一項(xiàng)數(shù)據(jù)處理和存儲(chǔ)的技術(shù)...
回答:這是一個(gè)非常好的問題,作為一名IT從業(yè)者,同時(shí)也在帶大數(shù)據(jù)方向的研究生,所以我來回答一下這個(gè)問題。首先,從技術(shù)體系結(jié)構(gòu)上來看,當(dāng)前的大數(shù)據(jù)技術(shù)已經(jīng)趨于成熟了,在數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、數(shù)據(jù)呈現(xiàn)和數(shù)據(jù)應(yīng)用等方面,已經(jīng)形成了一整套技術(shù)框架,相關(guān)的技術(shù)生態(tài)也在不斷完善當(dāng)中。當(dāng)前大型科技公司也開始逐漸形成自己的大數(shù)據(jù)平臺(tái),不同平臺(tái)也都有自身的技術(shù)特點(diǎn),總的來說,當(dāng)前在技術(shù)上已經(jīng)為大數(shù)據(jù)的行業(yè)應(yīng)用創(chuàng)新奠定了基礎(chǔ)...
回答:這個(gè)太范化了吧。大數(shù)據(jù)架構(gòu)選擇的方案就有很多,海量數(shù)據(jù)的即席查詢本省就是業(yè)內(nèi)目前的痛點(diǎn),暫時(shí)沒有太好的解決方案,kylin等框架也只是一個(gè)折中方案,如果你不是要求海量數(shù)據(jù)分析的秒級(jí)響應(yīng)的話sparkSql、presto等都是不錯(cuò)的方案,分鐘級(jí)別可以返回。
回答:數(shù)據(jù)已被國家層面定義為共創(chuàng)共享、可分配的生產(chǎn)要素,這必將極大的助力大數(shù)據(jù)在2020年的發(fā)展。這里,簡單說幾點(diǎn)來年的發(fā)展趨勢:1.脫敏流通可分配即可流通,但是一定是合規(guī)、合法的。怎樣才能合規(guī)、合法?這得依靠一些底層的公允脫敏技術(shù),不具體指向某個(gè)具體用戶,不可復(fù)原數(shù)據(jù)信息……有哪些就不說了。2.融合交互經(jīng)過公允的底層技術(shù)轉(zhuǎn)換之后,數(shù)據(jù)就有了合法合規(guī)流通的基本前提,這個(gè)前提一旦具備,跨企業(yè)、平臺(tái)之間的數(shù)...
...紀(jì)七八十年代):運(yùn)營式系統(tǒng)階段 例如,超市購物時(shí)在數(shù)據(jù)庫系統(tǒng)中一條一條的生成購物信息 ② 第二階段(2002年附近):用戶原創(chuàng)內(nèi)容階段 例如,博客、微博的出現(xiàn),大眾每個(gè)人都是自媒體,每個(gè)人都可以在網(wǎng)絡(luò)上發(fā)布數(shù)據(jù) ...
...個(gè)術(shù)語.這類數(shù)據(jù)對用于存儲(chǔ)和處理數(shù)據(jù)傳統(tǒng)RDBMS(即關(guān)系數(shù)據(jù)庫管理系統(tǒng))提出了挑戰(zhàn).大數(shù)據(jù)為處理和存儲(chǔ)數(shù)據(jù)的新途徑鋪平了道路.在本章節(jié)中,我們將探討大數(shù)據(jù)基礎(chǔ)、來源以及挑戰(zhàn),將介紹大數(shù)據(jù)的三個(gè)V---數(shù)量(volume)、速率(veloc...
...結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)組成: 結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在關(guān)系型數(shù)據(jù)庫中,只占10%。 大部分都是非結(jié)構(gòu)化數(shù)據(jù),類型非常多。 (3)處理速度快: 目前很多企業(yè)都需要秒級(jí)決策。從數(shù)據(jù)的生成到消耗,時(shí)間窗口非常小,可用于生成決策的...
...存儲(chǔ)并取得分析結(jié)果。這套數(shù)據(jù)處理的方法伴隨著關(guān)系型數(shù)據(jù)庫在工業(yè)界的演進(jìn)而被廣泛采用。但在大數(shù)據(jù)時(shí)代下,伴隨著越來越多的人類活動(dòng)被信息化、進(jìn)而數(shù)據(jù)化,越來越多的數(shù)據(jù)處理要求被實(shí)時(shí)化、流式化。Andrew NG揭示大...
...規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合,具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征。 大數(shù)據(jù)的定義(研究機(jī)構(gòu)Gartner給出):大數(shù)據(jù)...
...,Hadoop不斷發(fā)展完善,并集成了眾多優(yōu)秀的產(chǎn)品如非關(guān)系數(shù)據(jù)庫HBase、數(shù)據(jù)倉庫Hive、數(shù)據(jù)處理工具Sqoop、機(jī)器學(xué)習(xí)算法庫Mahout、一致性服務(wù)軟件ZooKeeper、管理工具Ambari等,形成了相對完整的生態(tài)圈和分布式計(jì)算事實(shí)上的標(biāo)準(zhǔn)。大...
...規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合,具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征。對于云計(jì)算,則是一種基于互聯(lián)網(wǎng)的計(jì)算方式,通...
...段:Python、Scala。大數(shù)據(jù)商業(yè)實(shí)戰(zhàn)階段:實(shí)操企業(yè)大數(shù)據(jù)處理業(yè)務(wù)場景,分析需求、解決方案實(shí)施,綜合技術(shù)實(shí)戰(zhàn)應(yīng)用。大數(shù)據(jù)(big data,mega data),或稱巨量資料,指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化...
ChatGPT和Sora等AI大模型應(yīng)用,將AI大模型和算力需求的熱度不斷帶上新的臺(tái)階。哪里可以獲得...
大模型的訓(xùn)練用4090是不合適的,但推理(inference/serving)用4090不能說合適,...
圖示為GPU性能排行榜,我們可以看到所有GPU的原始相關(guān)性能圖表。同時(shí)根據(jù)訓(xùn)練、推理能力由高到低做了...