資訊專欄INFORMATION COLUMN
摘要：當(dāng)下數(shù)據(jù)礦工們談?wù)撟疃嗟?，莫過于這星火了。今天也湊了把熱鬧，把一個(gè)日志解析的模塊改成實(shí)現(xiàn)，算是體驗(yàn)之旅吧?？傮w感覺是一個(gè)不夠可愛的姑娘，表現(xiàn)在語(yǔ)法似乎還沒進(jìn)入穩(wěn)定狀態(tài)，像列表擴(kuò)展正則匹配這樣基礎(chǔ)的都能搜出一大堆眼花繚亂的做法。
當(dāng)下數(shù)據(jù)礦工們談?wù)撟疃嗟模^于這「星火」了。Spark這名字，總讓我聯(lián)想起高中背過的單詞書，從而印象不佳，哈哈。
今天也湊了把熱鬧，把一個(gè)日志解析的模塊改成Spark實(shí)現(xiàn)，算是體驗(yàn)之旅吧。
剛開始我是用看起來很像Swift的Scala寫的：SparkLogExtract.scala
然后我希望為這個(gè)程序增加參數(shù)傳入的功能，然后我谷歌大法了，然后就沒有然后了。
總體感覺Scala是一個(gè)不夠可愛的姑娘，表現(xiàn)在：
語(yǔ)法似乎還沒進(jìn)入穩(wěn)定狀態(tài)，像列表擴(kuò)展、正則匹配這樣基礎(chǔ)的API都能搜出一大堆眼花繚亂的做法。
沒有break和continue的日子里我真的很想他們……
SBT對(duì)天朝子民真的很慢！
雖然提供了Shell，可提交還是要編譯的好不。
長(zhǎng)得不好看，函數(shù)沒有「return」真的充滿了違和感（咦，我怎么會(huì)用違和感這種高級(jí)詞匯？）
當(dāng)然要換回熟悉的Python！
接下來就爽快多了，除了map的函數(shù)傳參遇到了困難（最后我惡心地用一個(gè)lambda調(diào)用普通函數(shù)搞定了），其他一帆風(fēng)順，運(yùn)行速度和Scala一樣快的（嘿嘿）。
代碼請(qǐng)見：spark_log_extract.py
求賜星星！
來自：建造者說
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/37482.html
摘要：在移動(dòng)端，愛奇藝月度總有效時(shí)長(zhǎng)億小時(shí)，穩(wěn)居中國(guó)榜第三名。愛奇藝的峰值事件數(shù)達(dá)到萬(wàn)秒，在正確性容錯(cuò)性能延遲吞吐量擴(kuò)展性等方面均遇到不小的挑戰(zhàn)。從到愛奇藝主要使用的是和來進(jìn)行流式計(jì)算。作者：陳越晨 整理：劉河 本文將為大家介紹Apache Flink在愛奇藝的生產(chǎn)與實(shí)踐過程。你可以借此了解到愛奇藝引入Apache Flink的背景與挑戰(zhàn)，以及平臺(tái)構(gòu)建化流程。主要內(nèi)容如下： 愛奇藝在實(shí)時(shí)計(jì)算方...
閱讀 2584·2021-11-22 09:34
閱讀 961·2021-11-19 11:34
閱讀 2813·2021-10-14 09:42
閱讀 1497·2021-09-22 15:27
閱讀 2396·2021-09-07 09:59
閱讀 1747·2021-08-27 13:13
閱讀 3440·2019-08-30 11:21
閱讀 783·2019-08-29 18:35
