摘要：是設(shè)計用來表示數(shù)據(jù)集的一種數(shù)據(jù)結(jié)構(gòu)。而正因為滿足了這么多特性，所以把叫做，中文叫做彈性分布式數(shù)據(jù)集。按照這篇論文中文譯文的解釋，窄依賴是指子的每個分區(qū)依賴于常數(shù)個父分區(qū)即與數(shù)據(jù)規(guī)模無關(guān)寬依賴指子的每個分區(qū)依賴于所有父分區(qū)。

原文鏈接

本系列是綜合了自己在學(xué)習(xí)spark過程中的理解記錄 ＋ 對參考文章中的一些理解 ＋ 個人實踐spark過程中的一些心得而來。寫這樣一個系列僅僅是為了梳理個人學(xué)習(xí)spark的筆記記錄，所以一切以能夠理解為主，沒有必要的細(xì)節(jié)就不會記錄了，而且文中有時候會出現(xiàn)英文原版文檔，只要不影響理解，都不翻譯了。若想深入了解，最好閱讀參考文章和官方文檔。

其次，本系列是基于目前最新的 spark 1.6.0 系列開始的，spark 目前的更新速度很快，記錄一下版本好還是必要的。
最后，如果各位覺得內(nèi)容有誤，歡迎留言備注，所有留言 24 小時內(nèi)必定回復(fù)，非常感謝。
Tips: 如果插圖看起來不明顯，可以：1. 放大網(wǎng)頁；2. 新標(biāo)簽中打開圖片，查看原圖哦。

先看下源碼里是怎么描述RDD的。

Internally, each RDD is characterized by five main properties:  
A list of partitions  
A function for computing each split   
A list of dependencies on other RDDs  
Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)   
Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)   

可以知道，每個 RDD 有以下5個主要的屬性：

一組分片（partition），即數(shù)據(jù)集的基本組成單位

一個計算每個分片的函數(shù)

對parent RDD的依賴，這個依賴描述了RDD之間的 lineage

對于key-value的RDD，一個Partitioner，這是可選擇的

一個列表，存儲存取每個partition的preferred位置。對于一個HDFS文件來說，存儲每個partition所在的塊的位置。這也是可選擇的

把上面這5個主要的屬性總結(jié)一下，可以得出RDD的大致概念：

首先，RDD 大概是這樣一種表示數(shù)據(jù)集的東西，它具有以上列出的一些屬性。是設(shè)計用來表示數(shù)據(jù)集的一種數(shù)據(jù)結(jié)構(gòu)。為了讓 RDD 能 handle 更多的問題，規(guī)定 RDD 應(yīng)該是只讀的，分區(qū)記錄的一種數(shù)據(jù)集合。可以通過兩種方式來創(chuàng)建 RDD：一種是基于物理存儲中的數(shù)據(jù)，比如說磁盤上的文件；另一種，也是大多數(shù)創(chuàng)建 RDD 的方式，即通過其他 RDD 來創(chuàng)建【以后叫做轉(zhuǎn)換】而成。而正因為 RDD 滿足了這么多特性，所以 spark 把 RDD 叫做 Resilient Distributed Datasets，中文叫做彈性分布式數(shù)據(jù)集。很多文章都是先講 RDD 的定義，概念，再來說 RDD 的特性。我覺得其實也可以倒過來，通過 RDD 的特性反過來理解 RDD 的定義和概念，通過這種由果溯因的方式來理解 RDD 也未嘗不可，至少對我個人而言這種方式是挺好的。

本來我是想?yún)⒖?RDD 的論文和自己的理解來整理這篇文章的，可是后來想想這樣是不是有點過于細(xì)致了。我想，認(rèn)識一個新事物，在時間、資源有限的情況下，不必錙銖必較，可以先 focus on 幾個關(guān)鍵點，到后期應(yīng)用的時候再步步深入。

所以，按照我個人的理解，我認(rèn)為想用好 spark，必須要理解 RDD ，而為了理解 RDD ，我認(rèn)為只要了解下面幾個 RDD 的幾個關(guān)鍵點就能 handle 很多情況下的問題了。所以，下面所有列到的點，都是在我個人看來很重要的，但也許有所欠缺，大家如果想繼續(xù)深入，可以看第三部分列出的參考資料，或者直接聯(lián)系我，互相交流。

RDD 的設(shè)計是為了充分利用分布式系統(tǒng)中的內(nèi)存資源，使得提升一些特定的應(yīng)用的效率。這里所謂的特定的應(yīng)用沒有明確定義，但可以理解為一類應(yīng)用到迭代算法，圖算法等需要重復(fù)利用數(shù)據(jù)的應(yīng)用類型；除此之外，RDD 還可以應(yīng)用在交互式大數(shù)據(jù)處理方面。所以，我們這里需要明確一下：RDD并不是萬能的，也不是什么帶著紗巾的少女那樣神奇。簡單的理解，就是一群大牛為了解決一個問題而設(shè)計的一個特定的數(shù)據(jù)結(jié)構(gòu)，that"s all。

DAG - Direct Acyclic Graph，有向無環(huán)圖，好久沒看圖片了，先發(fā)個圖片來理解理解吧。

要理解DAG，只需弄明白三個概念就可以畢業(yè)了，首先，我們假設(shè)上圖圖二中的A,B,C,D,E都代表spark里不同的RDD：

圖：圖是表達(dá)RDD Lineage信息的一個結(jié)構(gòu)，在 spark 中，大部分 RDD 都是通過其他 RDD 進(jìn)行轉(zhuǎn)換而來的，比如說上圖圖二中，B和D都是通過A轉(zhuǎn)換而來的，而C是通過B轉(zhuǎn)換而來，E的話是通過B和D一起轉(zhuǎn)換來的。

有向：有向就更容易理解了，簡單來說就是 linage 是一個 top-down 的結(jié)構(gòu)，而且是時間序列上的 top-down 結(jié)構(gòu)，這里如果沒有理解的話，我們在下面講“無環(huán)”這個概念時一起說明。

無環(huán)：這里就是重點要理解的地方了，spark 的優(yōu)化器在這里也發(fā)揮了很大的作用。首先，我們先理解一下無環(huán)的概念，假設(shè)有圖三中左下 B,D,E 這樣一個 RDD 轉(zhuǎn)換圖，那當(dāng)我們的需要執(zhí)行 D.collect 操作的時候，就會引發(fā)一個死循環(huán)了。不過，仔細(xì)想過的話，就會知道，“無環(huán)”這個問題其實已經(jīng)在“有向”這個概念中提現(xiàn)了，上面說的“有向”，其實更詳細(xì)的說是一個時間上的先來后到，即祖先與子孫的關(guān)系，是不可逆的。

這個問題就不重復(fù)造輪子了，直接引用Quora上的一個問答了:

RDD is a dataset which is distributed, that is, it is divided into "partitions". Each of these partitions can be present in the memory or disk of different machines. If you want Spark to process the RDD, then Spark needs to launch one task per partition of the RDD. It"s best that each task be sent to the machine have the partition that task is supposed to process. In that case, the task will be able to read the data of the partition from the local machine. Otherwise, the task would have to pull the partition data over the network from a different machine, which is less efficient. This scheduling of tasks (that is, allocation of tasks to machines) such that the tasks can read data "locally" is known as "locality aware scheduling".

本來不想叫“惰性求值”的，看到“惰”這個字實在是各種不爽，實際上，我覺得應(yīng)該叫"后續(xù)求值"，"按需計算"，"晚點搞"這類似的，哈哈。這幾天一直在想應(yīng)該怎么簡單易懂地來表達(dá)Lazy Evaluation這個概念，本來打算引用MongoDB的Cursor來類比一下的，可總覺得還是小題大做了。這個概念就懶得解釋了，主要是覺得太簡單了，沒有必要把事情搞得這么復(fù)雜，哈哈。

首先，先從原文看看寬依賴和窄依賴各自的定義。

narrow dependencies: where each partition of the parent RDD is used by at most one partition of the child RDD, wide dependencis, where multiple child partitions may depend on it.

按照這篇RDD論文中文譯文的解釋，窄依賴是指子RDD的每個分區(qū)依賴于常數(shù)個父分區(qū)（即與數(shù)據(jù)規(guī)模無關(guān)）；寬依賴指子RDD的每個分區(qū)依賴于所有父RDD分區(qū)。暫且不說這樣理解是否有偏差，我們先來從兩個方面了解下計算一個窄依賴的子RDD和一個寬依賴的RDD時具體都有什么區(qū)別，然后再回顧這個定義。

計算方面：

計算窄依賴的子RDD：可以在某一個計算節(jié)點上直接通過父RDD的某幾塊數(shù)據(jù)（通常是一塊）計算得到子RDD某一塊的數(shù)據(jù)；

計算寬依賴的子RDD：子RDD某一塊數(shù)據(jù)的計算必須等到它的父RDD所有數(shù)據(jù)都計算完成之后才可以進(jìn)行，而且需要對父RDD的計算結(jié)果進(jìn)行hash并傳遞到對應(yīng)的節(jié)點之上；

容錯恢復(fù)方面：

窄依賴：當(dāng)父RDD的某分片丟失時，只有丟失的那一塊數(shù)據(jù)需要被重新計算；

寬依賴：當(dāng)父RDD的某分片丟失時，需要把父RDD的所有分區(qū)數(shù)據(jù)重新計算一次，計算量明顯比窄依賴情況下大很多；

還有一些基本概念上面沒有提到，一些是因為自己還沒怎么弄清楚，一些是覺得重要但是容易理解的，所以就先不記錄下來了。比如說：粗粒度、細(xì)粒度；序列化和反序列化等。

基礎(chǔ)的概念和理論都講得差不多了，該小試牛刀了，哈哈。

下幾篇的安排：

列一些學(xué)習(xí) spark 比較好的資源

詳細(xì)從 job，stage，task 的定義來談?wù)?spark 的運(yùn)行原理

準(zhǔn)備幾個稍稍復(fù)雜一點的例子, 例子個數(shù)根據(jù)時間安排發(fā)布

spark 在金融領(lǐng)域的應(yīng)用之 指數(shù)相似度計算

spark 在搜索領(lǐng)域的應(yīng)用之 pagerank

spark 在社交領(lǐng)域的應(yīng)用之 評分計算

開始講 dataframe 和 datasets

Spark技術(shù)內(nèi)幕：究竟什么是RDD

Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing

RDD 論文中文版

『 Spark 』1. spark 簡介

『 Spark 』2. spark 基本概念解析

『 Spark 』3. spark 編程模式

『 Spark 』4. spark 之 RDD

『 Spark 』5. 這些年，你不能錯過的 spark 學(xué)習(xí)資源

『 Spark 』6. 深入研究 spark 運(yùn)行原理之 job, stage, task

『 Spark 』7. 使用 Spark DataFrame 進(jìn)行大數(shù)據(jù)分析

『 Spark 』8. 實戰(zhàn)案例 ｜ Spark 在金融領(lǐng)域的應(yīng)用 ｜ 日內(nèi)走勢預(yù)測

『 Spark 』9. 搭建 IPython + Notebook + Spark 開發(fā)環(huán)境