什么是大數(shù)據(jù)及應(yīng)用？大數(shù)據(jù)即為海量數(shù)據(jù)。人類生活在三維空間中，一草一木，一山一水，人類活動的行為軌跡，都能用數(shù)據(jù)來表達。如企業(yè)的生產(chǎn)運營，商品標準。政府的管理決策，消費者的消費水平，消費習(xí)慣。地理環(huán)境的一條公路，一條河流等等。每方面都有每方面的大數(shù)據(jù)。每個行業(yè)都有每個行業(yè)的大數(shù)據(jù)。通過各企業(yè)，行業(yè)，社會主體等等數(shù)據(jù)的集成。形成了概念更大，更有價值的大數(shù)據(jù)流。通過宇宙萬物是互聯(lián)的原理。以及邏輯關(guān)系的分析。能夠得到。關(guān)于社會治理，企業(yè)運營，個人服務(wù)的便捷可靠，真實的服務(wù)方案。一件事物的組成并非由單一因素組成。由多方組合或者協(xié)同完成的。一件衣服的完成，要有生產(chǎn)布料的廠家，制衣廠家，制扣廠家，制線廠家，設(shè)計方，工人加工等等環(huán)節(jié)組合而成。大數(shù)據(jù)也是如此。大數(shù)據(jù)應(yīng)用也是如此。人類剛剛邁入數(shù)字經(jīng)濟時代。既為以數(shù)據(jù)為生產(chǎn)資料的時代。誰能掌握大數(shù)據(jù)以及大數(shù)據(jù)的應(yīng)用？更好地服務(wù)于人類社會。誰就占據(jù)了未來財富以及地位的制高點。中國戰(zhàn)略性新興產(chǎn)業(yè)聯(lián)盟河北唐冠眾興科技有限公司畢紹鵬回答

大數(shù)據(jù)，不僅僅是數(shù)據(jù)量大，同時在其他方面，也有一定的特點。

第一，大數(shù)據(jù)數(shù)據(jù)體量非常大，傳統(tǒng)的單機存儲系統(tǒng)，已經(jīng)無法在存儲這么大量的數(shù)據(jù)，此時需要用到分布式存儲技術(shù)。

第二，大數(shù)據(jù)的數(shù)據(jù)種類非常多，數(shù)據(jù)的格式也會變得復(fù)雜，比如數(shù)據(jù)種類有視頻、文檔、圖片、消息記錄等等。

第三，大數(shù)據(jù)中潛藏著非常重要的價值，通過數(shù)據(jù)分析技術(shù)，對商業(yè)決策做出智能化以及數(shù)據(jù)化的支持。

大數(shù)據(jù)最主要的功能，就是為公司上層提供商業(yè)化決策支持，讓公司能夠結(jié)合歷史數(shù)據(jù)，往正確的方向發(fā)展。大數(shù)據(jù)技術(shù)主要分為兩類：大數(shù)據(jù)計算和大數(shù)據(jù)存儲。

大數(shù)據(jù)計算主要分為離線計算和實時計算，具體使用要看業(yè)務(wù)場景對于數(shù)據(jù)產(chǎn)出時延的要求

離線計算對于數(shù)據(jù)的產(chǎn)出會有一定的時延，具體時延可以是15分鐘、小時或者天級別的。離線任務(wù)一般會對數(shù)據(jù)進行全局批計算，這一次運行完就運行完了，不會像實時計算那樣，除非你自己停止實時任務(wù)，否則實時程序會一直運行。

實時計算數(shù)據(jù)是不斷產(chǎn)生的，一般數(shù)據(jù)產(chǎn)出的延遲會很低，最多是秒級別的。比如我們的數(shù)據(jù)大屏、實時數(shù)據(jù)流的加工處理等，這些場景對于數(shù)據(jù)的產(chǎn)出的時延要求很低。

離線計算的話，一般對于數(shù)據(jù)的產(chǎn)出時延沒有那么高的要求，只要數(shù)據(jù)最終產(chǎn)出即可，具體使用像現(xiàn)在很多公司離線業(yè)務(wù)報表。目前大多數(shù)公司離線計算引擎使用的是Hive或者Spark，實時計算引擎目前主要是Flink。

大數(shù)據(jù)存儲需要數(shù)據(jù)分布式存儲，單機不能夠在存儲這么多巨量數(shù)據(jù)

在傳統(tǒng)的關(guān)系型數(shù)據(jù)庫中，當一個表非常大時，會使用分庫分表技術(shù)，將表分布式的存儲在不同的機器上面。分庫分表技術(shù)可以使用開源工具TDDL。

在非關(guān)系型NoSQL數(shù)據(jù)庫中，一般最底層的文件存儲系統(tǒng)可以選擇HDFS。HDFS文件系統(tǒng)將文件按照塊來進行存儲，一個塊的大小為128兆，同時每個塊會存儲三份，對數(shù)據(jù)進行容災(zāi)存儲，即使其中一個塊壞了，可以選擇其他塊進行數(shù)據(jù)恢復(fù)。

分布式數(shù)據(jù)庫系統(tǒng)可以對數(shù)據(jù)表進行水平分割和垂直分割。比如HBase數(shù)據(jù)庫，水平分割使用的是Region，垂直分割則是使用的列族。

分布式數(shù)據(jù)存儲技術(shù)，需要不同機器一起協(xié)同工作，每臺機器存儲整體數(shù)據(jù)的一個子集。在未來大數(shù)據(jù)時代，肯定都會使用分布式數(shù)據(jù)存儲，分布式數(shù)據(jù)庫，會成為大數(shù)據(jù)系統(tǒng)的標配。

我是Lake，專注大數(shù)據(jù)技術(shù)原理、人工智能、數(shù)據(jù)庫技術(shù)、程序員經(jīng)驗分享，如果我的問答對你有幫助的話，希望你能點贊關(guān)注我，感謝。

我會持續(xù)大數(shù)據(jù)、數(shù)據(jù)庫方面的內(nèi)容，如果你有任何問題，也歡迎關(guān)注私信我，我會認真解答每一個問題。期待您的關(guān)注

“不接觸互聯(lián)網(wǎng)，以后寸步難行！”十年前，在這樣的危言聳聽下，大家扔掉磚塊手機拿起手掌大的智能手機。

好不容易學(xué)會了玩微信刷朋友圈，現(xiàn)在中年危機和“大數(shù)據(jù)”都一起來了。

是不是不接觸大數(shù)據(jù)，也要被時代淘汰？

而現(xiàn)實生活中處處看見大數(shù)據(jù)，你刷不刷小視頻？讀不讀每日新聞？看不看新?。?/p>

細心的人就會發(fā)現(xiàn)，為什么軟件這么了解我，知道我喜歡看婆媳倫理視頻、知道我喜歡學(xué)最新廣場舞、知道我喜歡哈哈搞笑段子？

手指不管怎么往下滑，都是我喜歡看的，每次像再刷五分鐘就去睡覺，一刷就是兩個小時。這樣熟悉的場景是不是有感同身受？

這就是大數(shù)據(jù)整合優(yōu)化。

用專業(yè)術(shù)語概括大數(shù)據(jù)就是：使用新的處理模式，對信息進行捕捉、管理和處理的數(shù)據(jù)集合。

簡單來說就是：你拿著沒有喝完的奶茶，準備扔進垃圾桶。上海清潔工阿姨非常友好地問你，“你是什么垃圾？”，

這時候你就要：

第一，先倒了剩下的奶茶

第二，然后把珍珠倒到“濕垃圾”處

第三，把外包裝扔到“干垃圾”處。

以上這個過程就是大數(shù)據(jù)處理，對海量的數(shù)字信息進行分類、整合、優(yōu)化，來達到客戶需求的目的。

大數(shù)據(jù)在資源分配、信息配對非常有用，例如器官移植配對，就職簡歷投放等等。

像我們這樣的普通人，我們享受的是大數(shù)據(jù)給我們帶來的便捷，我們并不需要去過于專研它。

所以不用擔心不接觸大數(shù)據(jù)，就要被時代淘汰！就像我們都會用智能手機，要理解智能手機到底是怎么運作，里面的鋰子電子排列順序是什么，這個是完全不必要的。

這是一個非常好的問題，作為一名大數(shù)據(jù)從業(yè)者，我來回答一下。

在當前的大數(shù)據(jù)時代，不僅IT（互聯(lián)網(wǎng)）行業(yè)的人需要了解大數(shù)據(jù)相關(guān)知識，傳統(tǒng)行業(yè)的從業(yè)者和普通大學(xué)生也都應(yīng)該了解一定的大數(shù)據(jù)知識，在產(chǎn)業(yè)互聯(lián)網(wǎng)和新基建計劃的推動下，未來大數(shù)據(jù)技術(shù)將全面開始落地應(yīng)用，大數(shù)據(jù)也將重塑整個產(chǎn)業(yè)結(jié)構(gòu)。

了解大數(shù)據(jù)首先要從大數(shù)據(jù)的概念開始，不同于人工智能概念，大數(shù)據(jù)概念還是相對比較明確的，而且大數(shù)據(jù)的技術(shù)體系也已經(jīng)趨于成熟了。解釋大數(shù)據(jù)概念，可以從數(shù)據(jù)自身的特點入手，然后進一步從場景、應(yīng)用和行業(yè)來逐漸展開。

大數(shù)據(jù)自身的特點往往集中在五個方面，分別是數(shù)據(jù)量、數(shù)據(jù)結(jié)構(gòu)多樣性、數(shù)據(jù)價值密度、數(shù)據(jù)增長速度和可信度，對于這五個維度的理解和認知，是了解大數(shù)據(jù)概念的關(guān)鍵。當然，隨著大數(shù)據(jù)技術(shù)的發(fā)展和在行業(yè)領(lǐng)域的應(yīng)用，關(guān)于數(shù)據(jù)自身的維度也有了一定程度的擴展，這些擴展本身也是對大數(shù)據(jù)概念的一種豐富和完善。

數(shù)據(jù)量大是大數(shù)據(jù)的一個重要特征，但是數(shù)據(jù)量本身是一個匯集的概念，并不是只有很大的數(shù)據(jù)才稱為大數(shù)據(jù)，傳統(tǒng)信息系統(tǒng)所產(chǎn)生的“小數(shù)據(jù)”也是大數(shù)據(jù)的一個重要組成部分，這一點一定要有清晰的認知。當前從大數(shù)據(jù)的數(shù)據(jù)來源來看，主要集中在三個渠道，包括互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和傳統(tǒng)信息系統(tǒng)，物聯(lián)網(wǎng)數(shù)據(jù)當前占據(jù)的比例比較大，相信在5G時代，物聯(lián)網(wǎng)將依然是大數(shù)據(jù)的主要數(shù)據(jù)來源。

數(shù)據(jù)結(jié)構(gòu)多樣性是大數(shù)據(jù)的另一個重要特點，不同于創(chuàng)新信息系統(tǒng)（ERP）當中的數(shù)據(jù)，大數(shù)據(jù)的數(shù)據(jù)類型是非常復(fù)雜的，既有結(jié)構(gòu)化數(shù)據(jù)，也有非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這對于傳統(tǒng)的數(shù)據(jù)處理技術(shù)提出了巨大的挑戰(zhàn)，這也是推動大數(shù)據(jù)技術(shù)產(chǎn)生的一個重要原因。在工業(yè)互聯(lián)網(wǎng)時代，大數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)多樣性會進一步得到體現(xiàn)，這對于數(shù)據(jù)價值化過程也提出了新的挑戰(zhàn)。

數(shù)據(jù)價值密度往往是衡量數(shù)據(jù)價值的重要基礎(chǔ)，相對于傳統(tǒng)的信息系統(tǒng)來說，大數(shù)據(jù)當中的數(shù)據(jù)價值密度是比較低的，這就需要有更快速和便捷的方式，來完成數(shù)據(jù)的價值化提取過程，而這也正是當前大數(shù)據(jù)平臺所關(guān)注的核心能力之一。實際上，早期的Hadoop、Spark平臺之所以能夠脫穎而出，一個重要的原因就是其數(shù)據(jù)處理（排序）速度比較快。

數(shù)據(jù)增長速度快是大數(shù)據(jù)的另一個重要表現(xiàn)，通常傳統(tǒng)信息系統(tǒng)的數(shù)據(jù)增量是可以預(yù)測的，或者說增長速度是可控的，但是在大數(shù)據(jù)時代，數(shù)據(jù)增長速度已經(jīng)大大突破了傳統(tǒng)數(shù)據(jù)處理所能承載的極限。數(shù)據(jù)增長是一個相對的概念，相對于消費互聯(lián)網(wǎng)來說，產(chǎn)業(yè)互聯(lián)網(wǎng)所帶來的數(shù)據(jù)增量可能會更加客觀，因此產(chǎn)業(yè)互聯(lián)網(wǎng)時代會進一步打開大數(shù)據(jù)的價值空間。

最后，大數(shù)據(jù)還有一個特點就是數(shù)據(jù)本身的真實性，大數(shù)據(jù)時代所帶來的一個重要副作用就是數(shù)據(jù)真假難辨，這也是當前大數(shù)據(jù)技術(shù)所要重點解決的問題之一。從當前大型互聯(lián)網(wǎng)平臺所采用的方法來看，通常是技術(shù)和管理相結(jié)合的方式，比如通過為用戶認證就能夠解決一部分數(shù)據(jù)的真實性（專業(yè)性）問題。

我從事互聯(lián)網(wǎng)行業(yè)多年，目前也在帶計算機專業(yè)的研究生，主要的研究方向集中在大數(shù)據(jù)和人工智能領(lǐng)域，我會陸續(xù)寫一些關(guān)于互聯(lián)網(wǎng)技術(shù)方面的文章，感興趣的朋友可以關(guān)注我，相信一定會有所收獲。

如果有互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等方面的問題，或者是考研方面的問題，都可以在評論區(qū)留言，或者私信我！

相信大家對于這次新冠肺炎疫情期間社區(qū)防控力度之嚴、強度之大深有體會。但在杭州濱江區(qū)，在疫情爆發(fā)之初，卻面臨著社區(qū)疫情防控人手不足的問題。對此，國家電網(wǎng)杭州分公司研發(fā)了全國首個“電力大數(shù)據(jù)+社區(qū)網(wǎng)格化”算法，實現(xiàn)了收集、研判電力數(shù)據(jù)功能，并對濱江157476戶居民、超過1000萬條電力數(shù)據(jù)，進行了收集和分析。為了精準判斷細微的用電數(shù)據(jù)差別，該公司在算法中開發(fā)了居民短暫和長期外出、舉家返回、隔離人員異動等3個場景6套算法模型。通過3輪150余萬條次電力大數(shù)據(jù)巡航，精準判斷出區(qū)域內(nèi)人員日流動量和分布，還可以實時監(jiān)測居家隔離人員、獨居老人等特殊群體347戶。這讓社區(qū)人員得以根據(jù)電量波動判斷業(yè)主狀況，提高了登記和服務(wù)的效率，從而解決了人手不足的難題。

聽完這個例子，不知道你有沒有什么感觸呢？看似“高大上”的大數(shù)據(jù)，實際上就是這么的“接地氣”。今天呢，我主要是想糾正一些大家對于大數(shù)據(jù)的誤解，對大數(shù)據(jù)有一個更清晰且正確的認識。

二、大數(shù)據(jù)是什么？

其中，第三范式和第四范式都是由計算機來進行計算的，二者之間有什么區(qū)別呢？

引用維克托·邁爾·舍恩伯格撰寫的《大數(shù)據(jù)時代》中的話來說，就是：大數(shù)據(jù)時代最大的轉(zhuǎn)變，就是放棄對因果關(guān)系的渴求，取而代之關(guān)注相關(guān)關(guān)系。第四范式相對于第三范式來說，更關(guān)注“是什么”，而不需要知道“為什么”，就像人類總是會思考事物之間的因果聯(lián)系，電腦卻更擅長相關(guān)性分析。這也是為什么有人提出第三范式是“人腦+電腦”，人腦是主角，而第四范式是“電腦+人腦”，電腦是主角。

也許會有同學(xué)提出疑問，這是不是與我們科學(xué)研究的理念相違背？畢竟，如果通篇只有對數(shù)據(jù)相關(guān)性的分析，而缺乏具體的因果解讀，這樣的文章一般被認為是數(shù)據(jù)堆砌，是不可能發(fā)表的。

這里我又想給大家舉一個例子了，讓大家更好的理解第四范式的意義所在。拿我們近年來特別關(guān)心的霧霾來說，我們想要研究霧霾的產(chǎn)生機制，從而進行針對性的預(yù)防。

按照第三范式的思路，我們需要先在一些具有“代表性”的地方建立氣象站，收集與霧霾形成有關(guān)的參數(shù)，包括大氣化學(xué)成分、地形、風(fēng)向、溫度、濕度等氣象因素。需要注意的是，第三范式下，我們所收集的參數(shù)都是我們認為可能會影響到霧霾形成的因素，實際上已經(jīng)人為地排除了某些不重要的參數(shù)。從研究的可行性角度出發(fā)無可厚非，但是從準確性上來說，已經(jīng)是根源性的錯誤了。如果能夠獲取更全面的數(shù)據(jù)，即不加篩選地收集各類參數(shù)數(shù)據(jù)，進行更細致的數(shù)據(jù)分析，那么就能得出更科學(xué)的預(yù)測，這就是第四范式的出發(fā)點。

相信通過上面的解說，大家對大數(shù)據(jù)有了一個基本的認識，下面呢我來對大數(shù)據(jù)做一個簡單的定義：大數(shù)據(jù)（big data），指的是在一定時間范圍內(nèi)不能以常規(guī)軟件工具處理（存儲和計算）的大而復(fù)雜的數(shù)據(jù)集。這些大數(shù)據(jù)集包括結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，需要經(jīng)過進一步的數(shù)據(jù)處理和分析才能形成有價值的信息。

第一、數(shù)據(jù)體量巨大

這點相不難理解，我們?nèi)粘Ｉ钪惺褂玫奈⑿拧⒅Ц秾?、微博、抖音等軟件每天都會產(chǎn)生數(shù)百億條以上的數(shù)據(jù)，這僅僅是移動應(yīng)用一天的數(shù)據(jù)量，此外其他各行各業(yè)也都會產(chǎn)生各式各樣的數(shù)據(jù)，其總量絕對超出了你們的想象。舉個具體的例子，據(jù)英特爾預(yù)測，全球數(shù)據(jù)總量在2020年將達到44ZB，而中國產(chǎn)生的數(shù)據(jù)量將為8000EB，8000EB是什么概念？整個地球上所有沙?？倲?shù)的10倍！

第二、數(shù)據(jù)類型繁多

正如我剛才所提到的，大數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)指數(shù)據(jù)的屬性相同，可以用統(tǒng)一的結(jié)構(gòu)進行表示；非結(jié)構(gòu)化數(shù)據(jù)缺少固定的結(jié)構(gòu)，通常整體存儲，比如各種圖片、視頻、音頻等，非結(jié)構(gòu)化數(shù)據(jù)越來越成為數(shù)據(jù)的主要形式，據(jù)IDC數(shù)據(jù)顯示，企業(yè)中80%的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)；而半結(jié)構(gòu)化數(shù)據(jù)則介于兩者之間，比如HTML和XML文檔，其內(nèi)部用成對的標簽記錄對應(yīng)的數(shù)據(jù)，但每個文檔內(nèi)部的標簽又不是統(tǒng)一的，沒有固定的規(guī)律。

第三、價值密度低

大數(shù)據(jù)的價值很高，但是單條記錄卻基本無意義，缺乏有效信息，這也對我們收集數(shù)據(jù)提出了要求，數(shù)據(jù)分析一定要建立在大量的數(shù)據(jù)集的基礎(chǔ)上。舉個例子，張三是某電商平臺的忠實用戶，我們作為后臺，如果單看他的某一條購物記錄，無非是知道了他買了什么東西，消費了多少錢，但是我們一旦利用大數(shù)據(jù)分析系統(tǒng)對張三所有的購物記錄進行分析，那么我們就能得出他的一個消費畫像，了解其購買偏好，從而對他進行精準的商品推薦。

第四、處理速度快

如今5G時代，數(shù)據(jù)產(chǎn)生的速度越來越快，這就要求數(shù)據(jù)后臺能夠快速處理掉無用信息，因為需要控制存儲成本。同時更快速地處理信息，能夠獲取更多的有效價值，才能夠在商業(yè)競爭中取得優(yōu)勢。兩方面因素都刺激著數(shù)據(jù)處理技術(shù)的高速發(fā)展，目前采取流式數(shù)據(jù)處理技術(shù)可以達到毫秒級甚至微秒級的處理時間，滿足實時監(jiān)控分析用戶行為，從而提供個性化服務(wù)的需求。

三、結(jié)語

最后，引馬云的一句話作為結(jié)尾：未來的時代將不是IT時代，而是DT的時代。這里的DT就是data technology, 希望各位對大數(shù)據(jù)有了一個新的認識，也希望大家能夠在這個萬物互聯(lián)的時代，把握時代機遇，掌握信息技能，做一朵勇往直前的“后浪”。

隨著互聯(lián)網(wǎng)時代的到來，科技發(fā)達，信息流通，人們之間的交流越來越密切，生活也越來越方便，人們生活息息相關(guān)的事情都會變成網(wǎng)絡(luò)中的數(shù)據(jù)，而大數(shù)據(jù)就是這個高科技時代的產(chǎn)物，所以大數(shù)據(jù)是非常重要的一個資源。

大數(shù)據(jù)是每時每刻都在變化變動，是無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)并不在“大”，而在于“有用”。價值含量、挖掘成本比數(shù)量更為重要，所以我們要把這些數(shù)據(jù)進行深度的挖掘和分析，擴大他們的價值。

大數(shù)據(jù)是需要通過大量的統(tǒng)計了解大家的喜好，想要的東西，從而得到他們想要的、想做的，而對于很多行業(yè)而言,如何利用這些大規(guī)模數(shù)據(jù)是贏得競爭的關(guān)鍵，比如精準營銷，征信分析，消費分析等等。

實踐表明，大數(shù)據(jù)在推動經(jīng)濟轉(zhuǎn)型升級、服務(wù)社會民生、促進政府治理體系和治理能力現(xiàn)代化等方面發(fā)揮了重要并且越來越明顯的作用，大數(shù)據(jù)之所以成為時代變革力量，在于它通過追隨意義而獲得智慧，而隨著時代發(fā)展，科技進步，會有越來越多的高科技時代的產(chǎn)物，大數(shù)據(jù)只是其中之一。

數(shù)通暢聯(lián)專注于企業(yè)IT架構(gòu)、SOA綜合集成、數(shù)據(jù)治理分析領(lǐng)域，感謝您的閱讀與關(guān)注

大數(shù)據(jù)就是你行動行為的軌跡，將來可能會塑造成為你的影子，影子最終服務(wù)于你，預(yù)測到你的衣食住行，使你做到所想而行，比如你想自殺，它可能把刀放到你面前。

大數(shù)據(jù)（big data），指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

　　麥肯錫全球研究所給大數(shù)據(jù)出的定義是：一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征。

　　大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關(guān)鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。

　　從技術(shù)上看，大數(shù)據(jù)與云計算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計算機進行處理，必須采用分布式架構(gòu)。它的特色在于對海量數(shù)據(jù)進行分布式數(shù)據(jù)挖掘。但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術(shù)。

　　隨著云時代的來臨，大數(shù)據(jù)（Big data）也吸引了越來越多的關(guān)注。分析師團隊認為，大數(shù)據(jù)（Big data）通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。大數(shù)據(jù)分析常和云計算聯(lián)系到一起，因為實時的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。大數(shù)據(jù)需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過時間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫、數(shù)據(jù)挖掘、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計算平臺、互聯(lián)網(wǎng)和可擴展的存儲系統(tǒng)。

　　這一切都始于數(shù)字時代到來后我們所產(chǎn)生的數(shù)據(jù)量的指數(shù)激增。這主要是因為計算機、因特網(wǎng)和技術(shù)能夠從我們生活的真實世界中獲取信息，并將其轉(zhuǎn)化為數(shù)字數(shù)據(jù)。在2017年，當我們上網(wǎng)時、當我們攜帶配備GPS的智能手機時、當我們通過社交媒體或聊天應(yīng)用程序與我們的朋友溝通時、以及我們在購物時，我們會生成數(shù)據(jù)。你可以說，我們所做的涉及數(shù)字交易的一切都會留下數(shù)字足跡，這幾乎是我們生活的一切。

　　除此之外，機器生成的數(shù)據(jù)量也在快速增長。當我們的“智能”家庭設(shè)備彼此通信或與他們的家庭服務(wù)器通信時，數(shù)據(jù)就會生成和共享。世界各地的工廠和工廠的工業(yè)機械越來越多地配備了傳感器來收集和傳輸數(shù)據(jù)。很快，自動駕駛的汽車將走上街頭，將他們所到之處周圍的環(huán)境實時、四維的地圖發(fā)送回家。

用最通俗的語言跟你解釋一下。

舉個例子，你想要買一雙鞋，打開淘寶搜索了半天，感覺不太合適，然后又一想，晚點買也可以，于是退出了淘寶，打開了抖音，開始看某些土味視頻。

當你下一次打開淘寶的時候，淘寶一定會給你推薦各種新款式的鞋，并且會給你推送相關(guān)的活動。而你每次打開抖音，看到的大部分都是土味視頻。

其原因就是因為你在淘寶上用了大部分時間去搜索鞋子，淘寶通過測算覺得你對鞋子感興趣，于是你每次進淘寶都會給你推薦鞋子。除非你下次用更多的時間去搜索另外一個東西。而抖音覺得你比較喜歡土味視頻，因此這種視頻便一直出現(xiàn)。

這就是我們所說的大數(shù)據(jù)，通過對你各種行為分析，為你推薦更符合你口味的東西。

會銷售的售貨員在賣東西的時候一定不會僅僅去說產(chǎn)品，他肯定會通過各種方法去了解你的信息，等到信息足夠后再去為你推薦更加合適的產(chǎn)品，而此時你成交的概率非常大。

所以不妨回憶一下，買東西的時候有沒有售貨員跟你聊除產(chǎn)品以外的東西？比如家庭？

生活中的大數(shù)據(jù)有很多，打開歌曲APP，每日推薦就是大數(shù)據(jù)；打開今日我們，推薦你最感興趣的內(nèi)容也是大數(shù)據(jù)；打開視頻APP，推薦的視頻同樣是你最愛看的，這也是大數(shù)據(jù)。

因此，只要能通過某種途徑，了解到你的詳細信息或者行為，根據(jù)這些信息或者行為進行推薦你所感興趣的東西，就叫做大數(shù)據(jù)。

不知道你清楚了沒有？

就是很多很多的信息，主要指合法取得，且可合法實用的用戶身份信息，住址信息，聯(lián)系方式，生活習(xí)慣，消費習(xí)慣等。