大數(shù)據(jù)如何管理數(shù)據(jù)SEARCH AGGREGATION
回答:目前階段大數(shù)據(jù)技術(shù)及體系已經(jīng)逐漸趨于成熟，不再是以概念貫穿的模式，大數(shù)據(jù)越來越多的被使用，伴隨互聯(lián)網(wǎng)化的發(fā)展更多的企業(yè)信息化已經(jīng)由IT時(shí)代轉(zhuǎn)變?yōu)镈T時(shí)代，以數(shù)據(jù)為核心，用數(shù)據(jù)進(jìn)行決策，基于數(shù)據(jù)驅(qū)動(dòng)企業(yè)的創(chuàng)新與發(fā)展，相信在將來大數(shù)據(jù)也會(huì)有更廣泛的應(yīng)用空間，對(duì)于大數(shù)據(jù)的理解主要分為以下幾個(gè)層面。1.數(shù)據(jù)來源：對(duì)于大數(shù)據(jù)時(shí)代而言更多強(qiáng)調(diào)基于業(yè)務(wù)數(shù)據(jù)的沉淀，在一定規(guī)模的數(shù)據(jù)上進(jìn)行進(jìn)一步的分析、處理、轉(zhuǎn)換，...
arashicage
|
1245人閱讀
回答:大數(shù)據(jù)是處理海量數(shù)據(jù)的一種技術(shù)，你說的寫SQL只能處理結(jié)構(gòu)化數(shù)據(jù)，更多的是非結(jié)構(gòu)化數(shù)據(jù)（文本數(shù)據(jù)），和半結(jié)構(gòu)化數(shù)據(jù)。并且通過SQL處理的數(shù)據(jù)量一般很少，幾個(gè)T就根本不行，大數(shù)據(jù)涉及存儲(chǔ)（存儲(chǔ)級(jí)別為PB級(jí)別），資源調(diào)度（一般是分布式系統(tǒng)，不是一臺(tái)機(jī)器），計(jì)算框架（hadoop;storm;spark）這三部分，缺一不可，你說的寫SQL只是相當(dāng)于計(jì)算框架（勉強(qiáng)算得上，性能差遠(yuǎn)了）。
tracymac7
|
801人閱讀
回答:這是一個(gè)非常好的問題，作為一名IT從業(yè)者，同時(shí)也在帶大數(shù)據(jù)方向的研究生，所以我來回答一下這個(gè)問題。首先，從技術(shù)體系結(jié)構(gòu)上來看，當(dāng)前的大數(shù)據(jù)技術(shù)已經(jīng)趨于成熟了，在數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、數(shù)據(jù)呈現(xiàn)和數(shù)據(jù)應(yīng)用等方面，已經(jīng)形成了一整套技術(shù)框架，相關(guān)的技術(shù)生態(tài)也在不斷完善當(dāng)中。當(dāng)前大型科技公司也開始逐漸形成自己的大數(shù)據(jù)平臺(tái)，不同平臺(tái)也都有自身的技術(shù)特點(diǎn)，總的來說，當(dāng)前在技術(shù)上已經(jīng)為大數(shù)據(jù)的行業(yè)應(yīng)用創(chuàng)新奠定了基礎(chǔ)...
alexnevsky
|
1186人閱讀
從2012年開始，幾乎人人（至少是互聯(lián)網(wǎng)界）言必稱大數(shù)據(jù)，似乎不和大數(shù)據(jù)沾點(diǎn)邊都不好意思和別人聊天。從2016年開始，大數(shù)據(jù)系統(tǒng)逐步開始在企業(yè)中進(jìn)入部署階段，大數(shù)據(jù)的炒作逐漸散去，隨之而來的是應(yīng)用的蓬勃發(fā)展期...
從2012年開始，幾乎人人（至少是互聯(lián)網(wǎng)界）言必稱大數(shù)據(jù)，似乎不和大數(shù)據(jù)沾點(diǎn)邊都不好意思和別人聊天。從2016年開始，大數(shù)據(jù)系統(tǒng)逐步開始在企業(yè)中進(jìn)入部署階段，大數(shù)據(jù)的炒作逐漸散去，隨之而來的是應(yīng)用的蓬勃發(fā)展期...
1． 大數(shù)據(jù)技術(shù)大數(shù)據(jù)是以容量大、類型多、存取速度快、應(yīng)用價(jià)值高為主要特征的數(shù)據(jù)集合。建筑業(yè)是產(chǎn)生大量數(shù)據(jù)的行業(yè)之一，又是數(shù)據(jù)電子化程度較低的行業(yè)。在互聯(lián)網(wǎng)＋時(shí)代，建筑業(yè)數(shù)據(jù)的價(jià)值和重要性將逐步體現(xiàn)...
IDC分析指出，2018年中國政務(wù)大數(shù)據(jù)市場(chǎng)的競(jìng)爭(zhēng)呈現(xiàn)多元化、分散化、齊頭并進(jìn)的態(tài)勢(shì)，而2019年和2020年將是政務(wù)大數(shù)據(jù)平臺(tái)建設(shè)真正爆發(fā)之年。政務(wù)大數(shù)據(jù)市場(chǎng)引無數(shù)廠商競(jìng)折腰，誰又能最終脫穎而出呢？政務(wù)大數(shù)據(jù)落地是當(dāng)務(wù)...
看起來很美很熱鬧的云計(jì)算大數(shù)據(jù)，在具體落地時(shí)卻不得不面對(duì)一系列這樣的現(xiàn)實(shí)問題。正如中國電子學(xué)會(huì)副秘書長林潤華所言：產(chǎn)業(yè)界確實(shí)認(rèn)為這是大的發(fā)展方向，也是非常好的轉(zhuǎn)型機(jī)會(huì)，但是用戶還抱著非常審慎的態(tài)度...
...淫溪谷，盛怒于土囊之口，……DT時(shí)代，未來已來——數(shù)據(jù)大爆炸首先要明白大家為何從前幾年開始談大數(shù)據(jù)了？這是一個(gè)基本問題，包含著對(duì)當(dāng)下數(shù)據(jù)現(xiàn)實(shí)的基本認(rèn)識(shí)。一個(gè)不可忽視的事實(shí)是，隨著網(wǎng)絡(luò)和信息技術(shù)的不...
...身的真正撩妹達(dá)人！ 那么現(xiàn)實(shí)中，你是否有見過真正的數(shù)據(jù)科學(xué)家呢？ 數(shù)據(jù)科學(xué)家，一個(gè)大數(shù)據(jù)時(shí)代的新興稱號(hào)，被《哈佛商業(yè)評(píng)論》中被譽(yù)為21世紀(jì)最性感的職業(yè)，2015年，美國白宮首次設(shè)立數(shù)據(jù)科學(xué)家的崗位。 他們可能...
一、大數(shù)據(jù)平臺(tái)介紹 1.1大數(shù)據(jù)平臺(tái)架構(gòu)演變 ? 如圖所示魅族大數(shù)據(jù)平臺(tái)架構(gòu)演變歷程： 2013年底，我們開始實(shí)踐大數(shù)據(jù)，并部署了測(cè)試集群。當(dāng)時(shí)只有三個(gè)節(jié)點(diǎn)，因?yàn)槲覀兤鸩奖容^晚，沒有趕上Hadoop1.0，直接是用YARN來跑的大...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺(tái)階。哪里可以獲得...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說合適，...
圖示為GPU性能排行榜，我們可以看到所有GPU的原始相關(guān)性能圖表。同時(shí)根據(jù)訓(xùn)練、推理能力由高到低做了...
孫吉亮
馬永翠
aliyun
