摘要：但在企業(yè)中存在很多實(shí)時(shí)性處理的需求，例如雙十一的京東阿里，通常會(huì)做一個(gè)實(shí)時(shí)的數(shù)據(jù)大屏，顯示實(shí)時(shí)訂單。這種情況下，對(duì)數(shù)據(jù)實(shí)時(shí)性要求較高，僅僅能夠容忍到延遲分鐘或幾秒鐘。

1 Spark Streaming是什么
它是一個(gè)可擴(kuò)展，高吞吐具有容錯(cuò)性的流式計(jì)算框架

吞吐量：單位時(shí)間內(nèi)成功傳輸數(shù)據(jù)的數(shù)量

之前我們接觸的spark-core和spark-sql都是處理屬于離線批處理任務(wù)，數(shù)據(jù)一般都是在固定位置上，通常我們寫好一個(gè)腳本，每天定時(shí)去處理數(shù)據(jù)，計(jì)算，保存數(shù)據(jù)結(jié)果。這類任務(wù)通常是T+1(一天一個(gè)任務(wù))，對(duì)實(shí)時(shí)性要求不高。

但在企業(yè)中存在很多實(shí)時(shí)性處理的需求，例如：雙十一的京東阿里，通常會(huì)做一個(gè)實(shí)時(shí)的數(shù)據(jù)大屏，顯示實(shí)時(shí)訂單。這種情況下，對(duì)數(shù)據(jù)實(shí)時(shí)性要求較高，僅僅能夠容忍到延遲1分鐘或幾秒鐘。

實(shí)時(shí)計(jì)算框架對(duì)比

Storm

• 流式計(jì)算框架
• 以record為單位處理數(shù)據(jù)
• 也支持micro-batch方式（Trident）

Spark

• 批處理計(jì)算框架
• 以RDD為單位處理數(shù)據(jù)
• 支持micro-batch流式處理數(shù)據(jù)（Spark Streaming）

對(duì)比：

• 吞吐量：Spark Streaming優(yōu)于Storm
• 延遲：Spark Streaming差于Storm

2 Spark Streaming的組件
Streaming Context

• 一旦一個(gè)Context已經(jīng)啟動(dòng)(調(diào)用了Streaming Context的start())就不能有新的流算子(Dstream)建立或者是添加到context中
• 一旦一個(gè)context已經(jīng)停止不能重新啟動(dòng)(Streaming Context調(diào)用了stop方法之后 就不能再次調(diào) start())
• 在JVM(java虛擬機(jī))中 同一時(shí)間只能有一個(gè)Streaming Context處于活躍狀態(tài) 一個(gè)SparkContext創(chuàng)建一個(gè)Streaming Context
• 在Streaming Context上調(diào)用Stop方法 也會(huì)關(guān)閉SparkContext對(duì)象 如果只想僅關(guān)閉Streaming Context對(duì)象設(shè)置stop()的可選參數(shù)為false
• 一個(gè)SparkContext對(duì)象可以重復(fù)利用去創(chuàng)建多個(gè)Streaming Context對(duì)象(不關(guān)閉SparkContext前提下) 但是需要關(guān)一個(gè)再開下一個(gè)

DStream (離散流)

• 代表一個(gè)連續(xù)的數(shù)據(jù)流
• 在內(nèi)部 DStream由一系列連續(xù)的RDD組成
• DStreams中的每個(gè)RDD都包含確定時(shí)間間隔內(nèi)的數(shù)據(jù)
• 任何對(duì)DStreams的操作都轉(zhuǎn)換成了對(duì)DStreams隱含的RDD的操作
• 數(shù)據(jù)源