成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

spark系列-結(jié)構(gòu)化數(shù)據(jù)流-數(shù)據(jù)源

IT那活兒 / 1235人閱讀
spark系列-結(jié)構(gòu)化數(shù)據(jù)流-數(shù)據(jù)源

點擊上方“IT那活兒”，關注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。?！

簡  介


自spark2.0之后，DataFrame和DataSet可以表示靜態(tài)有界數(shù)據(jù)也可以表示無界流數(shù)據(jù)，可以使用相同入口點SparkSession從流源創(chuàng)建DataFrame/DataSet。可以通過spark.readStream()來創(chuàng)建流。
實現(xiàn)端到端一次傳輸是結(jié)構(gòu)化數(shù)據(jù)流設計的目標之一，為了實現(xiàn)這一目標，我們設計了數(shù)據(jù)源，接收器和執(zhí)行引擎，以可靠的跟蹤處理進度，從而可以通過重新啟動或重新處理來處理任何類型的故障。
每個數(shù)據(jù)源都有偏移量（例如kafka）來跟蹤流中的讀取位置，執(zhí)行引擎使用檢查點（checkpoint）和預寫日志（write-ahead logs）記錄每次觸發(fā)后正在處理數(shù)據(jù)的偏移范圍，接收器使用冪等接受，這樣結(jié)構(gòu)化數(shù)據(jù)流就會保證端到端一次性傳輸。


內(nèi)置數(shù)據(jù)源


1. File source：讀取目錄中的文件，將按照文件修改時間進行處理，如果設置latestFirst，則處理文件順序?qū)㈩嵉?，支持的文件格式有text、csv、json、orc、parquet，請注意文件必須以原子方式放置在目錄中，大多數(shù)文件系統(tǒng)中可以通過文件移動操作來實現(xiàn)。
2. Kafka source：讀取kafka數(shù)據(jù)，兼容kafka broker0.10.0或更高版本。
3. Socket source（用于測試）：從socket連接中讀取數(shù)據(jù)，監(jiān)聽socket套接字，只能用于測試，因為不支持端到端一次傳輸保證。
4. Rate source（用于測試）：以每秒指定的行數(shù)生成數(shù)據(jù)，每個輸出行包含時間戳和值。其中，timestamp是包含消息分派時間的時間戳類型，value是包含消息計數(shù)的Long類型，從0開始作為第一行。此源用于測試和基準測試。


案  例


創(chuàng)建socket 流。
創(chuàng)建文件流。
可以通過DF.isStreaming來判斷數(shù)據(jù)集是否是流數(shù)據(jù)。
自spark 3.1開始，也支持根據(jù)DataStreamReader.table()來創(chuàng)建結(jié)構(gòu)化數(shù)據(jù)流。
當讀取目錄時如果存在key=value形式的子目錄時，將自動遞歸到這些目錄中并發(fā)生分區(qū)，查詢啟動時組成分區(qū)方案的目錄必須存在，必須保持靜態(tài)，例如當/data/year=2015存在時，添加/data/year=2016是沒問題的，改變分區(qū)列是無效的，例如增加目錄/data/date=2016-04。




本文作者：潘宗昊

本文來源：IT那活兒（上海新炬王翦團隊）

文章版權歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/129582.html

相關文章

  • 『 Spark 』4. spark 之 RDD

    摘要：是設計用來表示數(shù)據(jù)集的一種數(shù)據(jù)結(jié)構(gòu)。而正因為滿足了這么多特性，所以把叫做，中文叫做彈性分布式數(shù)據(jù)集。按照這篇論文中文譯文的解釋，窄依賴是指子的每個分區(qū)依賴于常數(shù)個父分區(qū)即與數(shù)據(jù)規(guī)模無關寬依賴指子的每個分區(qū)依賴于所有父分區(qū)。 原文鏈接 寫在前面 本系列是綜合了自己在學習spark過程中的理解記錄 ＋ 對參考文章中的一些理解 ＋ 個人實踐spark過程中的一些心得而來。寫這樣一個系列僅僅是...

    timger 評論0 收藏0

  • 『 Spark 』2. spark 基本概念解析

    摘要：原文基本概念解析寫在前面本系列是綜合了自己在學習過程中的理解記錄對參考文章中的一些理解個人實踐過程中的一些心得而來。是項目組設計用來表示數(shù)據(jù)集的一種數(shù)據(jù)結(jié)構(gòu)。 原文：『 Spark 』2. spark 基本概念解析 寫在前面 本系列是綜合了自己在學習spark過程中的理解記錄 ＋ 對參考文章中的一些理解 ＋ 個人實踐spark過程中的一些心得而來。寫這樣一個系列僅僅是為了梳理個人學習...

    Luosunce 評論0 收藏0

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<