{eval=Array;=+count(Array);}
作為一名軟件開(kāi)發(fā)工程師,我現(xiàn)在從事的就是大數(shù)據(jù)方向,結(jié)合我個(gè)人的經(jīng)驗(yàn),這三個(gè)崗位具體哪個(gè)好,要看你從什么角度去看他。如果你現(xiàn)在是一名Java開(kāi)發(fā)工程師,想轉(zhuǎn)型到大數(shù)據(jù)領(lǐng)域,那么大數(shù)據(jù)開(kāi)發(fā)工程師會(huì)更適合你。如果你不喜歡開(kāi)發(fā),同時(shí)比較喜歡分析數(shù)據(jù)中的價(jià)值,希望從事商業(yè)智能分析相關(guān)工作,那么大數(shù)據(jù)分析會(huì)更適合你。如果你不是很喜歡寫(xiě)代碼,同時(shí)對(duì)大數(shù)據(jù)分析也不是很感興趣,而自己在Linux系統(tǒng)和腳本編寫(xiě)方面有一定基礎(chǔ),那么大數(shù)據(jù)運(yùn)維可能會(huì)更適合你。
大數(shù)據(jù)開(kāi)發(fā)崗位在進(jìn)行細(xì)分,還會(huì)有大數(shù)據(jù)平臺(tái)開(kāi)發(fā)、大數(shù)據(jù)組件開(kāi)發(fā)、數(shù)據(jù)研發(fā)(ETL)。這幾個(gè)方位主要工作內(nèi)容各有差異,側(cè)重點(diǎn)不同。大數(shù)據(jù)平臺(tái)開(kāi)發(fā),顧名思義,開(kāi)發(fā)數(shù)據(jù)平臺(tái)給其他開(kāi)發(fā)同學(xué)使用,大數(shù)據(jù)平臺(tái)底層是大數(shù)據(jù)組件,上層則是業(yè)務(wù)開(kāi)發(fā)同學(xué),你開(kāi)發(fā)的平臺(tái)提供用戶使用大數(shù)據(jù)組件的能力。大數(shù)據(jù)平臺(tái)一般使用Java語(yǔ)言開(kāi)發(fā),會(huì)使用到 Spring 、Spring Boot快速開(kāi)發(fā)出后端供前段進(jìn)行使用。數(shù)據(jù)庫(kù)一般會(huì)使用Mysql,同時(shí)也會(huì)使用到Mybats,Dubbo接口等等。
大數(shù)據(jù)組件開(kāi)發(fā),主要工作更偏向于組件底層開(kāi)發(fā),你需要結(jié)合公司業(yè)務(wù)特征,定制化的在公司所使用的大數(shù)據(jù)組件上開(kāi)發(fā)新功能、優(yōu)化、以及BUG修復(fù)等。大數(shù)據(jù)組件開(kāi)發(fā)同學(xué)需要對(duì)使用的組件底層原理要有很深的了解,同時(shí)也對(duì)其源碼要有一定的研究,這樣,你才能夠放心大膽在上面進(jìn)行開(kāi)發(fā)而不會(huì)影響到線上業(yè)務(wù)的運(yùn)行。
大數(shù)據(jù)分析也就是BI同學(xué),平時(shí)主要會(huì)從業(yè)務(wù)數(shù)據(jù)或者ETL同學(xué)處理好的數(shù)據(jù),去分析數(shù)據(jù)中潛藏的價(jià)值,幫助業(yè)務(wù)同學(xué)去運(yùn)營(yíng)。有時(shí)候業(yè)務(wù)同學(xué)也會(huì)找你臨時(shí)取數(shù),當(dāng)然大數(shù)據(jù)分析同學(xué)要有一定的PPT制作能力,因?yàn)橛袝r(shí)候你從數(shù)據(jù)中得到一個(gè)結(jié)論,需要使用PPT向老板或者其他同學(xué)通過(guò)PPT來(lái)講述你的觀點(diǎn)。BI同學(xué),同時(shí)在數(shù)據(jù)可視化要有一定的想法,因?yàn)锽I同學(xué)是有用數(shù)據(jù)的最大使用方。
大數(shù)據(jù)運(yùn)維同學(xué)則是主要運(yùn)維集群機(jī)器的穩(wěn)定性,保證它們不能出現(xiàn)任何故障,平時(shí)也會(huì)接收到很多機(jī)器報(bào)警信息。當(dāng)公司申購(gòu)到新的機(jī)器時(shí),大數(shù)據(jù)運(yùn)維同學(xué)要能夠幫助開(kāi)發(fā)同學(xué)配置相關(guān)的開(kāi)發(fā)環(huán)境,部署大數(shù)據(jù)組件集群。當(dāng)大數(shù)據(jù)組件集群突然變得不穩(wěn)定時(shí),有報(bào)警信息時(shí),大數(shù)據(jù)運(yùn)維同學(xué)需要能夠快速定位問(wèn)題和解決問(wèn)題。大數(shù)據(jù)運(yùn)維同學(xué)掌管著大數(shù)據(jù)組件集群的資源,當(dāng)機(jī)器資源不夠時(shí),運(yùn)維同學(xué)需要申請(qǐng)采購(gòu)或者臨時(shí)調(diào)配其他部門(mén)的資源,比如大促時(shí)機(jī)器資源緊張問(wèn)題。大數(shù)據(jù)運(yùn)維同學(xué)平時(shí)需要對(duì)Linux系統(tǒng)、Shell腳本的編寫(xiě)、Python等要有一定的理解研究。
總體來(lái)說(shuō),大數(shù)據(jù)開(kāi)發(fā)、大數(shù)據(jù)分析、大數(shù)據(jù)運(yùn)維這三個(gè)崗位需要從具體的視角去看他,對(duì)于不同興趣和不同基礎(chǔ)的同學(xué)來(lái)說(shuō),找到適合自己和個(gè)人職業(yè)規(guī)劃的崗位才是最重要的。每個(gè)崗位的工作內(nèi)容都不盡相同,大數(shù)據(jù)開(kāi)發(fā)偏向于代碼開(kāi)發(fā),大數(shù)據(jù)分析側(cè)重?cái)?shù)據(jù)分析,大數(shù)據(jù)運(yùn)維偏向公司機(jī)器的穩(wěn)定性運(yùn)維,最后,希望你能夠找到適合自己的崗位。
我是Lake,專注大數(shù)據(jù)技術(shù)、互聯(lián)網(wǎng)科技見(jiàn)解、程序員經(jīng)驗(yàn)分享,如果我的問(wèn)答對(duì)你有幫助的話,希望你能夠點(diǎn)贊轉(zhuǎn)發(fā)或者關(guān)注我,你的一個(gè)小小的鼓勵(lì),就是我持續(xù)分享的動(dòng)力,非常感謝。
您好我是 數(shù)據(jù)僧。
首先,工作本身沒(méi)有好壞之分,只有門(mén)檻高低之別。大數(shù)據(jù)開(kāi)發(fā)、大數(shù)據(jù)分析、大數(shù)據(jù)運(yùn)維都圍繞著大數(shù)據(jù)展開(kāi)。如果我們把大數(shù)據(jù)去掉,就只剩下,開(kāi)發(fā),分析,運(yùn)維。當(dāng)然還有其它的工作,例如運(yùn)營(yíng),產(chǎn)品,講師,測(cè)試等。 加上了大數(shù)據(jù),只是我們的工作內(nèi)容,或者說(shuō)是工作方式發(fā)生了變化。
大數(shù)據(jù)是傳統(tǒng)行業(yè),傳統(tǒng)技術(shù)逐步發(fā)展的產(chǎn)物。但是并沒(méi)有打破我們?cè)趥鹘y(tǒng)行業(yè)的工作模式,和我們的一些基礎(chǔ)知識(shí)的儲(chǔ)備。革新的只有處理技術(shù),工作手段。在這里我們更詳細(xì)的說(shuō)說(shuō)大數(shù)據(jù)開(kāi)發(fā)、大數(shù)據(jù)分析、大數(shù)據(jù)運(yùn)維 的工作內(nèi)容,已經(jīng)門(mén)檻,不做好壞評(píng)價(jià)。
非大數(shù)據(jù) 開(kāi)發(fā),分析,運(yùn)維干什么呢?
開(kāi)發(fā)日常工作是干什么了 ? 圍繞著產(chǎn)品經(jīng)理,進(jìn)行產(chǎn)品開(kāi)發(fā),升級(jí),迭代。加班熬夜,趕進(jìn)度。每日的工作就是編碼,和產(chǎn)品溝通或者撕X,和測(cè)試溝通或者斯X,最終確保產(chǎn)品上線,保證產(chǎn)品正常使用,以及后續(xù)迭代升級(jí)。
分析日常工作是什么了?數(shù)據(jù)整理,制作報(bào)表,最后就是報(bào)告,會(huì)議,闡述結(jié)論,最后就是說(shuō)服對(duì)方接受觀點(diǎn),的確很多時(shí)候,分析出來(lái)的結(jié)論,對(duì)方無(wú)法接受。
運(yùn)維日常工作是什么了?最核心的就是監(jiān)控,機(jī)器是否正常運(yùn)轉(zhuǎn),資源是否夠用,產(chǎn)品應(yīng)用是否都正常,開(kāi)發(fā)相關(guān)的工具,保證異常能夠及時(shí)發(fā)現(xiàn)。
在介紹大數(shù)據(jù)相關(guān)的工作前我們先了解下大數(shù)據(jù)的處理流程
我們?cè)诳纯磆adoop的大數(shù)據(jù)生態(tài)圈。當(dāng)然大數(shù)據(jù)生態(tài)圈不是在只有hadoop。
大數(shù)據(jù)開(kāi)發(fā)的主要工作
開(kāi)發(fā)數(shù)據(jù)收集工具,數(shù)據(jù)清洗和整理,開(kāi)發(fā)數(shù)據(jù)應(yīng)用;當(dāng)然這些不是一個(gè)人去完成,都會(huì)落在各個(gè)團(tuán)隊(duì)中去完成。
完整這些工作需要哪些技能?從這些技能我們也能看出來(lái)大數(shù)據(jù)開(kāi)發(fā)的主要工作,就是這些工具打交道。一門(mén)開(kāi)發(fā)語(yǔ)言(java/python/c#/scala 等),大數(shù)據(jù)下的一些框架:MapReduce,Spark,Hdfs,Storm,Hbase,Zookeeper 等,只會(huì)其中的2到三項(xiàng)基本找份工作沒(méi)有問(wèn)題,如何進(jìn)階在這不詳細(xì)討論。我們來(lái)看圖吧。
大數(shù)據(jù)分析的主要工作
有大表哥,專門(mén)做各種報(bào)表。取數(shù)機(jī)器人,提取各種數(shù)據(jù)。當(dāng)然也有做數(shù)據(jù)分類,特征提取等數(shù)據(jù)挖掘,機(jī)器學(xué)習(xí)等高等玩家。
這里一并概括了,大數(shù)據(jù)分析的主要工作是:基于現(xiàn)有的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析得出一個(gè)結(jié)論,最后進(jìn)行商業(yè)決策。當(dāng)然現(xiàn)實(shí)不是這樣的。大多數(shù)人成了大表哥,取數(shù)機(jī)器人,高端玩家也不列外,挖出來(lái)的東西,在沒(méi)有找到落地場(chǎng)景前,都是一坨一坨的。這里都只是調(diào)侃。
大數(shù)據(jù)分析需要哪些技能呢?我們不管具體的工作內(nèi)容,看看我們每天要面對(duì)那些工具,工具是我們每天要接觸的東西。 Excel,SPSS,SQL,數(shù)據(jù)庫(kù),R,Python 等。當(dāng)然我們不用都會(huì)。
我們還是看圖吧,看看數(shù)據(jù)分析師的能力體系:
在看看每個(gè)階段需要的技能,分析師和開(kāi)發(fā)的區(qū)別在于,核心在于處理數(shù)據(jù)和清洗數(shù)據(jù),達(dá)到自己可用的狀態(tài)。開(kāi)發(fā)是收集數(shù)據(jù)和整理數(shù)據(jù),讓數(shù)據(jù)變得統(tǒng)一。
大數(shù)據(jù)運(yùn)維的工作
對(duì)大數(shù)據(jù)集群進(jìn)行監(jiān)控和維護(hù)升級(jí),保障集群正常運(yùn)行,從而保證 數(shù)據(jù)收集服務(wù)能正常運(yùn)行,保證集群資源夠用,監(jiān)控集群資源消耗情況。
他們是職業(yè)背鍋俠,也是一群默默無(wú)聞的伙伴。無(wú)論開(kāi)發(fā),還是分析,還是其它的崗位,都有在人前顯擺的時(shí)候,我們的運(yùn)維永遠(yuǎn)只能在人后做好保障。
我們來(lái)看看運(yùn)維的能力體系吧:
以上是我對(duì)這個(gè)問(wèn)題的理解,有些調(diào)侃,但都想表達(dá)和傳遞一種正能量,每個(gè)行業(yè),每個(gè)崗位都有其特定的屬性和特點(diǎn),既然選擇了,就只顧風(fēng)雨兼程,管它花開(kāi)花落,最終中能到達(dá)理想的彼岸。
關(guān)注數(shù)據(jù)僧,我們一起討論,大家都喜歡什么樣的工作,歡迎大家留言。(圖片來(lái)自網(wǎng)絡(luò),侵刪。)
大數(shù)據(jù)開(kāi)發(fā):
主要是負(fù)責(zé)大數(shù)據(jù)挖掘,大數(shù)據(jù)清洗處理,大數(shù)據(jù)建模等工作,主要是負(fù)責(zé)大規(guī)模數(shù)據(jù)的處理和應(yīng)用,工作主要以開(kāi)發(fā)為主,與大數(shù)據(jù)可視化分析工程師相互配合,從數(shù)據(jù)中挖掘出價(jià)值,為企業(yè)業(yè)務(wù)發(fā)展提供支持。
大數(shù)據(jù)分析:
進(jìn)行行業(yè)數(shù)據(jù)搜集、整理、分析,并依據(jù)數(shù)據(jù)做出行業(yè)研究、評(píng)估和預(yù)測(cè);
主要工作有四類:
1、從0到1搭建數(shù)據(jù)分析體系;
2、數(shù)據(jù)分析工具化,產(chǎn)品化;
3、支撐領(lǐng)導(dǎo)、部門(mén)決策的專題分析及業(yè)務(wù)方向探索;
4、數(shù)據(jù)規(guī)范制定及提升數(shù)據(jù)質(zhì)量等基礎(chǔ)工作。
大數(shù)據(jù)運(yùn)維:
運(yùn)營(yíng)維護(hù),Linux操作系統(tǒng)、應(yīng)用系統(tǒng)的維護(hù)、監(jiān)控、調(diào)優(yōu)、故障排除,關(guān)注開(kāi)源社區(qū)動(dòng)態(tài),追蹤前沿技術(shù)和應(yīng)用等;
一般來(lái)講國(guó)內(nèi)的互聯(lián)網(wǎng)運(yùn)維負(fù)責(zé)軟件測(cè)試交付后的發(fā)布和管理,將交付的業(yè)務(wù)軟件和硬件基礎(chǔ)設(shè)施高效合理的整合,轉(zhuǎn)換為可持續(xù)提供高質(zhì)量服務(wù)的產(chǎn)品,同時(shí)最大限度降低服務(wù)運(yùn)行的成本,保障服務(wù)運(yùn)行的安全。
相關(guān):
大數(shù)據(jù)分析師到底在干嘛?
https://www.toutiao.com/i6549321396005110275/
加米谷:大數(shù)據(jù)分析,到底要分析些什么?
https://www.toutiao.com/i6577599840014828045/
大數(shù)據(jù)學(xué)習(xí):數(shù)據(jù)分析師的完整工作流程與知識(shí)結(jié)構(gòu)體系
https://www.toutiao.com/i6584961126356746760/
這三個(gè)角色在我們公司分別對(duì)應(yīng)著三個(gè)部門(mén),承擔(dān)的職責(zé)也各有不同,還算理解得比較透徹,簡(jiǎn)單談一談。
主要基于大數(shù)據(jù)平臺(tái)開(kāi)展批量作業(yè)、實(shí)時(shí)接口等大數(shù)據(jù)應(yīng)用的開(kāi)發(fā)和測(cè)試工作,對(duì)能力的要求是熟悉Spark、Flink等大數(shù)據(jù)框架,熟悉SQL,熟悉軟件開(kāi)發(fā)測(cè)試規(guī)范,能夠根據(jù)業(yè)務(wù)需要完成業(yè)務(wù)邏輯的編寫(xiě)。
利用大數(shù)據(jù)平臺(tái)、機(jī)器學(xué)習(xí)建模平臺(tái)、BI平臺(tái)等開(kāi)展生產(chǎn)數(shù)據(jù)的分析和數(shù)據(jù)建模工作,挖掘數(shù)據(jù)中存在的業(yè)務(wù)價(jià)值,主要交付物是業(yè)務(wù)分析報(bào)告、各類名單、業(yè)務(wù)模型等。對(duì)能力的要求是:具備數(shù)據(jù)分析的思維,熟悉SQL,熟悉機(jī)器學(xué)習(xí)建模邏輯,熟悉Python/SAS等開(kāi)發(fā)工具,具備一定的文字能力。
開(kāi)展大數(shù)據(jù)平臺(tái)的日常運(yùn)維工作,包括批量作業(yè)、接口的上線和運(yùn)行監(jiān)控,平臺(tái)的硬件資源監(jiān)控,用戶和平臺(tái)資源的分配,平臺(tái)和作業(yè)問(wèn)題的分析和處置,數(shù)據(jù)的遷移,平臺(tái)的擴(kuò)容,業(yè)務(wù)數(shù)據(jù)查詢提取變更等,一句話就是保障平臺(tái)及數(shù)據(jù)的可用。對(duì)能力的要求是:熟悉Hadoop組件,熟悉Linux,熟悉SQL。
從上面的介紹可以看出,這三者的區(qū)別是很明顯的,要求也各有不同。
實(shí)務(wù)中,這三個(gè)角色是密切相關(guān)的,大數(shù)據(jù)開(kāi)發(fā)人員完成應(yīng)用開(kāi)發(fā),大數(shù)據(jù)運(yùn)維人員基于開(kāi)發(fā)人員的腳本進(jìn)行投產(chǎn)并保障作業(yè)的穩(wěn)定運(yùn)行,大數(shù)據(jù)開(kāi)發(fā)人員基于開(kāi)發(fā)和運(yùn)維人員構(gòu)建的邏輯和數(shù)據(jù)開(kāi)展數(shù)據(jù)分析。
大數(shù)據(jù)分析人員與業(yè)務(wù)接觸最頻繁,有獨(dú)立的思維能力和發(fā)揮的空間,相對(duì)來(lái)說(shuō)工作比較有創(chuàng)造性,成果可直接面對(duì)公司高層,比較有意思,容易出彩,也容易轉(zhuǎn)向業(yè)務(wù)。
大數(shù)據(jù)開(kāi)發(fā)人員往往是按照業(yè)務(wù)需求或系統(tǒng)需要完成功能性的開(kāi)發(fā),也能夠與業(yè)務(wù)進(jìn)行接觸,不是太死板,但創(chuàng)造性和自主性相對(duì)弱一些,不過(guò)往往技術(shù)能力比大數(shù)據(jù)分析人員強(qiáng),可以說(shuō)技術(shù)業(yè)務(wù)雙贏。
大數(shù)據(jù)運(yùn)維人員的主要合作伙伴就是平臺(tái)和設(shè)備,工作相對(duì)純粹,有章可循,有利于技術(shù)沉淀,缺點(diǎn)是與業(yè)務(wù)接觸較少,壓力大,工作強(qiáng)度大,往往成為幕后英雄。
都是一個(gè)戰(zhàn)壕里的兄弟,革命分工不同,理解不同,都很好,看各自選擇,我就不排序了。
我是會(huì)說(shuō)科技,關(guān)注我,一起聊聊數(shù)據(jù)、科技、IT、安全、金融那些瑣事。
在大數(shù)據(jù)領(lǐng)域大概有四個(gè)大的工作方向,除了大數(shù)據(jù)平臺(tái)應(yīng)用及開(kāi)發(fā)、大數(shù)據(jù)分析與應(yīng)用和大數(shù)據(jù)平臺(tái)集成與運(yùn)維之外,還有大數(shù)據(jù)平臺(tái)架構(gòu)與研發(fā),除了以上四個(gè)大的工作方向之外,還有一個(gè)工作方向是大數(shù)據(jù)技術(shù)推廣和培訓(xùn),這部分工作目前也有不少人在從事。
大數(shù)據(jù)平臺(tái)架構(gòu)與研發(fā)主要的工作內(nèi)容是研發(fā)底層的大數(shù)據(jù)平臺(tái),這部分工作的難度較高,從事這部分工作的研發(fā)級(jí)崗位也并不多。現(xiàn)在不少技術(shù)研發(fā)團(tuán)隊(duì)都以Hadoop、Spark平臺(tái)為基礎(chǔ)進(jìn)行研發(fā),這樣能夠節(jié)省大量的時(shí)間,也更容易做出市場(chǎng)接受度比較高的大數(shù)據(jù)平臺(tái)(商用較多)。
大數(shù)據(jù)平臺(tái)應(yīng)用開(kāi)發(fā)是目前一個(gè)就業(yè)的熱門(mén)方向,一方面是大數(shù)據(jù)開(kāi)發(fā)的場(chǎng)景眾多,另一方面是難度并不高,能夠接納的從業(yè)人數(shù)也非常多。大數(shù)據(jù)開(kāi)發(fā)主要是滿足企業(yè)在大數(shù)據(jù)平臺(tái)上的應(yīng)用開(kāi)發(fā),與場(chǎng)景有密切的關(guān)系。大數(shù)據(jù)開(kāi)發(fā)是在大數(shù)據(jù)平臺(tái)基礎(chǔ)之上的開(kāi)發(fā),充分利用大數(shù)據(jù)平臺(tái)提供的功能來(lái)滿足企業(yè)的實(shí)際需求。
大數(shù)據(jù)分析是大數(shù)據(jù)應(yīng)用的一個(gè)重點(diǎn),甚至可以說(shuō)是大數(shù)據(jù)的核心內(nèi)容。大數(shù)據(jù)分析是基于大數(shù)據(jù)平臺(tái)提供的功能進(jìn)行具體的數(shù)據(jù)分析,數(shù)據(jù)分析與場(chǎng)景有密切的關(guān)系,比如出行大數(shù)據(jù)分析、營(yíng)銷大數(shù)據(jù)分析、金融大數(shù)據(jù)分析等等。目前采用機(jī)器學(xué)習(xí)的方式進(jìn)行大數(shù)據(jù)分析是一個(gè)趨勢(shì),機(jī)器學(xué)習(xí)的步驟包括數(shù)據(jù)收集、算法設(shè)計(jì)、訓(xùn)練算法、驗(yàn)證算法和使用算法,所以算法在數(shù)據(jù)分析中起到了重要的作用,做數(shù)據(jù)分析工作要有一定的算法基礎(chǔ)。
大數(shù)據(jù)運(yùn)維主要從事大數(shù)據(jù)平臺(tái)的軟硬件集成和運(yùn)維工作,主要的工作內(nèi)容是完成大數(shù)據(jù)平臺(tái)的部署和調(diào)試等相關(guān)工作,這部分工作崗位也比較多,企業(yè)往往需要有一個(gè)專門(mén)的運(yùn)維團(tuán)隊(duì)來(lái)保障大數(shù)據(jù)平臺(tái)的平穩(wěn)運(yùn)行。相對(duì)來(lái)說(shuō),這部分工作的難度小一些,但是需要掌握的內(nèi)容也比較多,包括網(wǎng)絡(luò)、服務(wù)器等軟硬件知識(shí)。
大數(shù)據(jù)是我的主要研究方向之一,目前我也在帶大數(shù)據(jù)方向的研究生,我會(huì)陸續(xù)在頭條寫(xiě)一些關(guān)于大數(shù)據(jù)方面的文章,感興趣的朋友可以關(guān)注我的頭條號(hào),相信一定會(huì)有所收獲。
如果有大數(shù)據(jù)方面的問(wèn)題,也可以咨詢我,謝謝!
我直接來(lái)排個(gè)序吧:大數(shù)據(jù)開(kāi)發(fā)>大數(shù)據(jù)分析>大數(shù)據(jù)運(yùn)維,薪資也是這樣。
其實(shí),你不必糾結(jié),直接把大數(shù)據(jù)3個(gè)字去掉,開(kāi)發(fā)、分析、運(yùn)維,誰(shuí)好誰(shuí)差,一目了然。
大數(shù)據(jù)開(kāi)發(fā),我最新的視頻里講到了,其實(shí)就是數(shù)據(jù)庫(kù),數(shù)據(jù)倉(cāng)庫(kù),報(bào)表系統(tǒng)這些,寫(xiě)好sql和java就行,并不是所有人都得去弄hadoop、storm、flink、spark這些的,就像我視頻里說(shuō)的,做好報(bào)表,做好sql,多熟悉業(yè)務(wù),比什么都強(qiáng)。
來(lái)看看崗位描述吧:
圍繞大數(shù)據(jù)系平臺(tái)系統(tǒng)級(jí)的研發(fā)人員, 熟練Hadoop、Spark、Storm等主流大數(shù)據(jù)平臺(tái)的核心框架。
深入掌握如何編寫(xiě)MapReduce的作業(yè)及作業(yè)流的管理完成對(duì)數(shù)據(jù)的計(jì)算,并能夠使用Hadoop提供的通用算法, 熟練掌握Hadoop整個(gè)生態(tài)系統(tǒng)的組件如:Yarn,HBase、Hive、Pig等重要組件,能夠?qū)崿F(xiàn)對(duì)平臺(tái)監(jiān)控、輔助運(yùn)維系統(tǒng)的開(kāi)發(fā)。
感興趣的可以去看看我的最新視頻,里面講的很清楚。
大數(shù)據(jù)分析,和數(shù)據(jù)分析類似,但是多存在于互聯(lián)網(wǎng)和IT行業(yè),會(huì)用的工具有python、tableau、finebi這些。
大數(shù)據(jù)運(yùn)維,可能是里面比較差的職業(yè)了,別覺(jué)得我真實(shí),這就是事實(shí),運(yùn)維,在哪里都是不受重用的,甚至有的運(yùn)維就是修網(wǎng)線的。
這份薪資明顯過(guò)高。
主要的工作是為了給人民、社會(huì)、大自然、地球服務(wù)。好與壞因?qū)ο蠖胁灰唬秃帽犬?dāng)下年輕人玩的一款“王者榮耀”,玩家都說(shuō)好,而沒(méi)碰過(guò)的就覺(jué)得這是一款爛游戲,因?yàn)樯磉叺娜硕及汛蟛糠謺r(shí)間花在它身上了!
數(shù)據(jù)分析師需要的技能大致有這些:Excel、SQL、統(tǒng)計(jì)學(xué)及SPSS、Python/R等。建議從Excel開(kāi)始,因?yàn)镋xcel是使用最多,也是最強(qiáng)大的數(shù)據(jù)分析工具,入門(mén)簡(jiǎn)單,因?yàn)榇蟛糠秩硕冀佑|過(guò)Excel。
大數(shù)據(jù)運(yùn)維,這里指互聯(lián)網(wǎng)運(yùn)維,通常屬于技術(shù)部門(mén),與研發(fā)、測(cè)試、系統(tǒng)管理同為互聯(lián)網(wǎng)產(chǎn)品技術(shù)支撐的4大部門(mén),這個(gè)劃分在國(guó)內(nèi)和國(guó)外以及大小公司間都會(huì)多少有一些不同。
一個(gè)互聯(lián)網(wǎng)產(chǎn)品的生成一般經(jīng)歷的過(guò)程是:產(chǎn)品經(jīng)理(product manager,非技術(shù)部)需求分析、研發(fā)部門(mén)開(kāi)發(fā)、測(cè)試部門(mén)測(cè)試、運(yùn)維部門(mén)部署發(fā)布以及長(zhǎng)期的運(yùn)行維護(hù)。一般來(lái)講國(guó)內(nèi)的互聯(lián)網(wǎng)運(yùn)維負(fù)責(zé)軟件測(cè)試交付后的發(fā)布和管理,其核心目標(biāo)是將交付的業(yè)務(wù)軟件和硬件基礎(chǔ)設(shè)施高效合理的整合,轉(zhuǎn)換為可持續(xù)提供高質(zhì)量服務(wù)的產(chǎn)品,同時(shí)最大限度降低服務(wù)運(yùn)行的成本,保障服務(wù)運(yùn)行的安全。
0
回答0
回答0
回答0
回答0
回答0
回答0
回答0
回答0
回答0
回答