1.1 大數(shù)據(jù)時代

1.1.1第三次信息化浪潮

2010年前后，以云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)的首發(fā)為標志迎來第三次信息化浪潮。

IT發(fā)展史歷經(jīng)的信息化浪潮如下：

1.1.2 大數(shù)據(jù)時代的到來需要技術(shù)支撐

主要表現(xiàn)為：

1. 存儲設(shè)備容量不斷增加
2. CPU處理能力大幅提升
3. 網(wǎng)絡(luò)帶寬不斷增加

1.1.3 數(shù)據(jù)產(chǎn)生方式的變革促進大數(shù)據(jù)時代到來

第一階段：運營式系統(tǒng)階段。實例：購物記錄。數(shù)據(jù)僅由運營系統(tǒng)生成。
第二階段：用戶原創(chuàng)內(nèi)容階段。實例：微信。每個網(wǎng)民都成為自媒體，可以向網(wǎng)絡(luò)發(fā)送信息。但到此為止還不足以促進大數(shù)據(jù)時代到來。
第三階段：感知式系統(tǒng)階段。物聯(lián)網(wǎng)(IoT)的大規(guī)模普及，實現(xiàn)了萬物互聯(lián)。物聯(lián)網(wǎng)底層是感知層，比如攝像頭、傳感器，這些設(shè)備時刻生成大量數(shù)據(jù)，物聯(lián)網(wǎng)的興起促使了大數(shù)據(jù)時代到來。

1.1.4 大數(shù)據(jù)的發(fā)展歷程

1.2 大數(shù)據(jù)的概念和影響

1.2.1大數(shù)據(jù)的4V特性

4V特性指velocity、variety、value、volume。

(1)數(shù)據(jù)量大：
大數(shù)據(jù)摩爾定律（根據(jù)IDC作出的估測，數(shù)據(jù)一直都在以每年50%的速度增長，也就是說每兩年就增長一倍）。
人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當于之前產(chǎn)生的全部數(shù)據(jù)量。

(2)數(shù)據(jù)類型繁多：
大數(shù)據(jù)是由結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)組成：

• 結(jié)構(gòu)化數(shù)據(jù)存儲在關(guān)系型數(shù)據(jù)庫中，只占10%。
  
• 大部分都是非結(jié)構(gòu)化數(shù)據(jù)，類型非常多。
  

(3)處理速度快：
目前很多企業(yè)都需要秒級決策。從數(shù)據(jù)的生成到消耗，時間窗口非常小，可用于生成決策的時間非常少。
1秒定律：這一點和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。

(4)價值密度低，商業(yè)價值高：
如此大量的數(shù)據(jù)，很多可能都是沒有價值的數(shù)據(jù)。比如監(jiān)控攝像頭時刻生成大量數(shù)據(jù)需要進行存儲，一旦發(fā)生案件時，攝像頭存儲的視頻才有用，但發(fā)生案件的幾率很小，因此價值密度低很低。

1.2.2大數(shù)據(jù)的影響

圖靈獎獲得者Jim Gray博士總結(jié)人類在科學研究上，先后經(jīng)歷了實驗、理論、計算和數(shù)據(jù)四種范式。

在思維方式方面，大數(shù)據(jù)完全顛覆了傳統(tǒng)的思維方式：

1. 全樣而非抽樣
   大數(shù)據(jù)時代之前，我們無法保存和分析所有數(shù)據(jù)，只能統(tǒng)計學采用抽樣進行分析，舍棄了很多數(shù)據(jù)，只抽取一部分數(shù)據(jù)進行存儲、計算、分析。
   而現(xiàn)在我們有足夠的空間、可以構(gòu)建服務(wù)器集群進行龐大數(shù)據(jù)處理，就可以做全樣的數(shù)據(jù)分析。
2. 效率而非精確
   之前在做抽樣統(tǒng)計時，需要不斷提高算法精度，因為抽樣計算的結(jié)果誤差放到全樣上會被放大，容易超出許可范圍。
   而全樣分析不存在誤差放大的問題，不追求精確度，而追求時效性、追求效率。
3. 相關(guān)而非因果
   更多的追求事物的相關(guān)性，而不關(guān)注因果關(guān)系。不問為什么，只關(guān)注關(guān)聯(lián)性。

1.3 大數(shù)據(jù)的應(yīng)用

1.3.1大數(shù)據(jù)的應(yīng)用領(lǐng)域

1.3.2舉例：流感預(yù)測

谷歌使用大數(shù)據(jù)預(yù)測流感趨勢，利用搜索引擎實時收集用戶搜索的信息。
通常遇到疾病時，會首先使用搜索引擎搜索，然后再去醫(yī)院，這些搜索關(guān)鍵詞構(gòu)成了龐大的數(shù)據(jù)庫。

1.4 大數(shù)據(jù)的關(guān)鍵技術(shù)

1.4.1大數(shù)據(jù)技術(shù)的層次

下圖為大數(shù)據(jù)技術(shù)的層次，最核心的大數(shù)據(jù)技術(shù)在數(shù)據(jù)存儲與管理、數(shù)據(jù)處理與分析這兩個層面。

1.4.2兩大核心技術(shù)

兩大核心技術(shù)指的是分布式存儲、分布式處理。

分布式存儲：解決海量數(shù)據(jù)的存儲問題。單機無法存儲海量數(shù)據(jù)時，就借助集群進行分布式存儲。

分布式處理：解決海量數(shù)據(jù)的處理問題。單機無法高效完成海量數(shù)據(jù)處理時，就使用集群進行分布式處理。

1.4.3大數(shù)據(jù)技術(shù)以谷歌公司技術(shù)為代表

1.4.4大數(shù)據(jù)計算模式

目前有許多大數(shù)據(jù)相關(guān)產(chǎn)品存在，這些產(chǎn)品可能用于批處理、實時計算、交互式計算，但是沒有任何一款產(chǎn)品可以滿足所有需求。因此不同計算模式需要使用不同的產(chǎn)品。
典型的計算模式可以分為四種：

1. 批處理計算：典型代表為MapReduce、Spark。
   用于解決大規(guī)模數(shù)據(jù)的批量處理。
   不適合做實時交互式計算，做不到秒級響應(yīng)。
   其中Spark實時性比MapReduce更好，并且可以進行迭代計算，比如數(shù)據(jù)挖掘需要迭代計算時就需要使用Spark。
   

2. 流計算：典型代表為Storm、S4、Flume、Streams、Puma、DStream、SuperMario、銀河流數(shù)據(jù)處理平臺等。
   需要進行實時處理，給出實時響應(yīng)，否則分析結(jié)果就會失去商業(yè)價值。
   
   流計算框架如下：
   

3. 圖計算：典型代表為Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等。
   處理大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)。
   現(xiàn)實生活中比如社交網(wǎng)絡(luò)、交通網(wǎng)絡(luò)都可以轉(zhuǎn)成圖結(jié)構(gòu)進行處理。
   

4. 查詢分析計算：典型代表為Hive、Dremel、Cassandra、Impala等。
   用于大規(guī)模數(shù)據(jù)的存儲管理和查詢分析。

計算模式總結(jié)表如下：

1.5 大數(shù)據(jù)與云計算、物聯(lián)網(wǎng)的關(guān)系

1.5.1云計算

云計算要解決兩大核心問題：即海量數(shù)據(jù)存儲和處理問題。

云計算典型特征：虛擬化、多租戶。

云計算的概念：通過網(wǎng)絡(luò)以服務(wù)的方式為用戶提供非常廉價的IT資源。

云計算的優(yōu)勢：企業(yè)不需要自建IT基礎(chǔ)設(shè)施，可以租用云端資源。

云計算的三種模式：公有云、混合云、私有云。
公有云舉例：百度云，面向所有用戶。
私有云舉例：電信、移動，面向企業(yè)內(nèi)部。
混合云：部分給自己，部分給公眾。

三種云服務(wù)：IaaS、PaaS、SaaS

1. IaaS：基礎(chǔ)設(shè)置即服務(wù)
   將基礎(chǔ)設(shè)施（計算資源和存儲）作為服務(wù)出租。
   比如亞馬遜提供了EC2，可以直接購買并在環(huán)境上安裝系統(tǒng)和業(yè)務(wù)等，平臺已經(jīng)提供CPU等資源。
2. PaaS：平臺即服務(wù)
   個體沒有能力獨立開發(fā)云計算產(chǎn)品，不具備環(huán)境。
   比如新浪搭建了云計算分布式開發(fā)平臺Sina App Engine，可以購買后在新浪上開發(fā)、部署云服務(wù)。
3. SaaS：軟件即服務(wù)
   將軟件作為服務(wù)出售。
   典型案例：云財務(wù)軟件。
   從一個集中的系統(tǒng)部署軟件，使之在一臺本地計算機上（或從云中遠程地）運行的一個模型。由于是計量服務(wù)，SaaS允許出租應(yīng)用程序，并計時收費。
   

云計算關(guān)鍵技術(shù)：

• 多租戶：同時為多個用戶服務(wù)。
• 虛擬化：上機操作均基于Linux環(huán)境，可以利用虛擬化技術(shù)，再虛擬機上裝Linux系統(tǒng)。比如虛擬專用網(wǎng)VPN。

云計算數(shù)據(jù)中心：數(shù)據(jù)中心是云計算的溫床。各種數(shù)據(jù)和應(yīng)用都位于數(shù)據(jù)中心。

全球各地大量建設(shè)數(shù)據(jù)中心：

數(shù)據(jù)中心投資非常高昂、耗能非常大，因此必需建設(shè)在地址結(jié)構(gòu)穩(wěn)定、氣候涼爽的地方。

政務(wù)云、教育云、中小企業(yè)云、醫(yī)療云都是云計算的應(yīng)用。

1.5.2物聯(lián)網(wǎng)

物聯(lián)網(wǎng)：IoT(The Internet of Things)

物聯(lián)網(wǎng)概念：物物相連的互聯(lián)網(wǎng)，是互聯(lián)網(wǎng)的延伸。

物聯(lián)網(wǎng)層次架構(gòu)：

典型物聯(lián)網(wǎng)應(yīng)用：智能公交。在公交車上的JPS定位相當于感知層，通過沿途基站傳輸信息，用戶通過因特網(wǎng)訪問。

物聯(lián)網(wǎng)的關(guān)鍵技術(shù)：

1. 識別與感知技術(shù)（二維碼、RFID、傳感器等）
2. 網(wǎng)絡(luò)與通信技術(shù)
3. 數(shù)據(jù)挖掘與融合技術(shù)等。

物聯(lián)網(wǎng)應(yīng)用：

1.5.3大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)的關(guān)系

三者相輔相成，既有聯(lián)系又有區(qū)別。