{eval=Array;=+count(Array);}
謝謝邀請!
大數(shù)據(jù)是我的主要研究方向之一,同時也在帶大數(shù)據(jù)方向的研究生,所以我來回答一下這個問題。
學(xué)習(xí)大數(shù)據(jù)首先要根據(jù)自身的知識結(jié)構(gòu)選擇學(xué)習(xí)方向,比如數(shù)學(xué)和統(tǒng)計學(xué)專業(yè)的學(xué)生可以選擇數(shù)據(jù)分析方向,而計算機(jī)專業(yè)的學(xué)生可以選擇大數(shù)據(jù)開發(fā)方向,不同的學(xué)習(xí)方向需要制定不同的學(xué)習(xí)計劃。
雖然不同的學(xué)習(xí)方向往往需要學(xué)習(xí)不同的內(nèi)容,但是對于零基礎(chǔ)的學(xué)習(xí)者來說,以下三方面基礎(chǔ)知識是都需要學(xué)習(xí)的:
第一:編程語言。不論是選擇大數(shù)據(jù)分析方向還是大數(shù)據(jù)應(yīng)用開發(fā)方向,掌握編程語言都是學(xué)習(xí)大數(shù)據(jù)的重要基礎(chǔ)。目前在大數(shù)據(jù)領(lǐng)域應(yīng)用比較廣泛的語言包括Java、Python、Scala、R和Go等,其中Java在Hadoop平臺應(yīng)用比較多,而Scala在Spark平臺應(yīng)用比較普遍。從目前的應(yīng)用趨勢來看,學(xué)習(xí)Python則是不錯的選擇,既可以從事大數(shù)據(jù)開發(fā),也可以從事大數(shù)據(jù)分析。
第二:大數(shù)據(jù)平臺。學(xué)習(xí)大數(shù)據(jù)知識繞不過大數(shù)據(jù)平臺,大數(shù)據(jù)平臺承載了分布式存儲和分布式計算的核心任務(wù),所以大數(shù)據(jù)平臺研發(fā)也是目前大數(shù)據(jù)領(lǐng)域的重要崗位。目前Hadoop和Spark是比較適合初學(xué)者學(xué)習(xí)的大數(shù)據(jù)平臺,一方面是其開源的屬性,另一方面Hadoop對于硬件的要求也比較低。
第三:算法。大數(shù)據(jù)技術(shù)的核心訴求是數(shù)據(jù)價值化,而目前數(shù)據(jù)價值化的主要方式就是數(shù)據(jù)分析,所以掌握算法不僅對于數(shù)據(jù)分析崗位非常重要,對于大數(shù)據(jù)開發(fā)崗位也具有現(xiàn)實的意義。可以說,大數(shù)據(jù)產(chǎn)業(yè)鏈內(nèi)大量的崗位任務(wù)都要圍繞算法展開,所以掌握算法是學(xué)習(xí)大數(shù)據(jù)技術(shù)的核心任務(wù)之一。學(xué)習(xí)算法可以從一些經(jīng)典的算法開始,比如kNN、決策樹、樸素貝葉斯、支持向量機(jī)等等。
我從事互聯(lián)網(wǎng)行業(yè)多年,目前也在帶計算機(jī)專業(yè)的研究生,主要的研究方向集中在大數(shù)據(jù)和人工智能領(lǐng)域,我會陸續(xù)寫一些關(guān)于互聯(lián)網(wǎng)技術(shù)方面的文章,感興趣的朋友可以關(guān)注我,相信一定會有所收獲。
如果有互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等方面的問題,或者是考研方面的問題,都可以在評論區(qū)留言!
本人從事大數(shù)據(jù)以及相關(guān)行業(yè),算是一個業(yè)內(nèi)人士,說說我的看法,僅供參考。
首先大數(shù)據(jù)這幾年特別熱門,同時也帶來了很多的就業(yè)。大數(shù)據(jù)的價值也越來越明顯,尤其是人工智能的發(fā)展和即將到來5G,都離不開大數(shù)據(jù)這個基礎(chǔ)!所以選擇學(xué)習(xí)大數(shù)據(jù)對未來的發(fā)展還是挺不錯的。但同時也要清楚一些問題!
首先是確定學(xué)習(xí)的方向:大數(shù)據(jù)是一個大概念,必須知道他都有那些部分,自己將來就業(yè)要選擇那個方向。下面就說一下大數(shù)據(jù)就業(yè)的方向和技能需求以及崗位需求!僅供參考??!
一,大數(shù)據(jù)開發(fā)
從事大數(shù)據(jù)開發(fā)工程師
崗位職責(zé)
1、利用Hadoop、Spark等技術(shù)在分布式系統(tǒng)上對海量歷史數(shù)據(jù)進(jìn)行預(yù)處理,挖掘用戶信
息;
2、參與大數(shù)據(jù)基礎(chǔ)平臺的搭建和維護(hù);
3、負(fù)責(zé)廣告投放項目管理平臺研發(fā);
4、負(fù)責(zé)大數(shù)據(jù)計算處理平臺項目研發(fā)。
技術(shù)要求
1、熟練掌握c++/Java開發(fā),具備扎實的程序設(shè)計基本功和學(xué)習(xí)能力
2、熟悉 Linux,熟悉 shell/perl/python/php 等腳本語言的一種或多種。
3、熟悉傳統(tǒng)數(shù)據(jù)庫MySQL。
4、熟悉MapReduce、Storm、Spark、Spark Streaming等大數(shù)據(jù)開發(fā)工具,對源代碼
有一定研究者優(yōu)先;
5、熟悉linux環(huán)境,熟悉shell等腳本編程;
6、有大規(guī)模數(shù)據(jù)處理和日志處理經(jīng)驗的優(yōu)先。
7、有較強(qiáng)的人際溝通、協(xié)調(diào)能力,具備與技術(shù)人員溝通數(shù)據(jù)需求的能力;
8、具備良好的邏輯分析能力和解決實際問題的能力。
二,大數(shù)據(jù)運(yùn)維
從事大數(shù)據(jù)運(yùn)維工程師
崗位職責(zé)
1、負(fù)責(zé)大數(shù)據(jù)平臺整體軟硬件的日常運(yùn)維;?
2、分析平臺運(yùn)行狀態(tài),進(jìn)行性能優(yōu)化;?
3、負(fù)責(zé)大數(shù)據(jù)平臺運(yùn)行故障的分析、定位和解決;?
4、負(fù)責(zé)新技術(shù)、新組件的技術(shù)探索、測試和應(yīng)用;?
5、支撐運(yùn)維自動化系統(tǒng)的設(shè)計和開發(fā)。?
崗位要求:?
1、 熟悉hadoop生態(tài)圈主要開源技術(shù)組件及其工作原理,能閱讀相關(guān)源代碼,能順利閱讀英文文檔;?
2、熟悉軟硬件設(shè)備、網(wǎng)絡(luò)原理,有豐富的大數(shù)據(jù)平臺部署、性能優(yōu)化和運(yùn)維經(jīng)驗;
3、熟悉Linux,熟悉cacti、ganglia、zabbix等運(yùn)維軟件,熟悉SaltStack、Ansible等自動化軟件,有python、java、shell編程基礎(chǔ);?
4、工作認(rèn)真負(fù)責(zé),有較強(qiáng)的學(xué)習(xí)能力、動手能力和分析解決問題的能力;?
補(bǔ)充:
熟悉Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等開源項目,有運(yùn)維優(yōu)化經(jīng)驗者優(yōu)先;
熟悉Linux操作系統(tǒng)的配置、管理及優(yōu)化;
熟悉Python、Linux、shell,有ETL維護(hù)經(jīng)驗、電信行業(yè)大數(shù)據(jù)維護(hù)經(jīng)驗者優(yōu)先
三,數(shù)據(jù)挖掘
從事數(shù)據(jù)挖掘工程師
崗位職責(zé)
1、對海量數(shù)據(jù)進(jìn)行分析,建立數(shù)據(jù)挖掘算法,利用大數(shù)據(jù)對產(chǎn)品進(jìn)行研究和建模,為用戶提供評估和預(yù)測等功能;
2、參與/負(fù)責(zé)用戶畫像、推薦等系統(tǒng)搭建,參與核心產(chǎn)品推薦場景算法的研發(fā)和優(yōu)化;
3、采用先進(jìn)的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法,為公司業(yè)務(wù)部門提供決策依據(jù);
4、搭建數(shù)據(jù)挖掘系統(tǒng)和機(jī)器學(xué)習(xí)系統(tǒng),實現(xiàn)智能平臺的自動化流程。
1、具備強(qiáng)悍的編碼能力,有扎實的數(shù)據(jù)結(jié)構(gòu)和算法功底;
2、優(yōu)秀的學(xué)習(xí)能力、獨(dú)立分析問題和解決問題能力;
3、熟悉Linux開發(fā)環(huán)境,熟悉Python,PHP,Java等語言兩種以上;
4、熟悉基本的數(shù)據(jù)分析方法、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)算法;
5、熟悉SPSS/Modeler/R/Python等至少一種數(shù)據(jù)挖掘工具;
6、熟悉Hadoop/Spark,有Elasticsearch,Solr,Kafka,F(xiàn)lume等開源項目使用經(jīng)驗
7、有畫像、廣告、推薦,搜索等算法方向?qū)嶋H工作經(jīng)驗優(yōu)先
四,BI(商務(wù)智能)工程師— (包括數(shù)據(jù)庫開發(fā)、BI開發(fā)工程師、ETL開發(fā)、報表開發(fā)、BI咨詢顧問)
崗位職責(zé)
1、獨(dú)立負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)收集整理,構(gòu)建經(jīng)營分析和報表系統(tǒng);
2、通過專題分析,對業(yè)務(wù)問題進(jìn)行深入分析,為業(yè)務(wù)的策略、產(chǎn)品優(yōu)化提供數(shù)據(jù)支持;
3、?以數(shù)據(jù)驅(qū)動業(yè)務(wù)為目標(biāo),進(jìn)行數(shù)倉研發(fā)工作但不局限于數(shù)倉;
4、?參與數(shù)據(jù)倉庫ETL設(shè)計、開發(fā)和優(yōu)化工作,保證數(shù)據(jù)準(zhǔn)確、穩(wěn)定、組織合理?
崗位要求
1、掌握Oracle、MySQL、ODPS等數(shù)據(jù)庫開發(fā)技能,熟練應(yīng)用開發(fā)、數(shù)據(jù)庫原理和常用性能優(yōu)化和擴(kuò)展技術(shù);
2、掌握數(shù)據(jù)倉庫建設(shè)、熟悉大數(shù)據(jù)平臺操作,離線計算Hive/MR研發(fā)、實時計算spark?streaming/storm;?
3、熟悉ETL邏輯、OLAP設(shè)計和數(shù)據(jù)分析技術(shù)(聚類分析、回歸分析、決策樹等)、數(shù)據(jù)挖掘相關(guān)算法;
4、熟悉Linux系統(tǒng)環(huán)境開發(fā),掌握shell、perl、python等至少一種開發(fā)語言。
6. 有較強(qiáng)的邏輯/概率思維能力,善于分析、歸納、描述、溝通、和解決問題。
補(bǔ)充(根據(jù)企業(yè)工具區(qū)別)
1、全面熟知數(shù)據(jù)倉庫設(shè)計理念、設(shè)計方法,熟練掌握Informatica、Kettle、Automation等至少一種ETL工具;
2、熟練掌握SAP BO、MSTR、SmartBI、Cognos、QV等至少一種BI工具;
3、熟悉數(shù)據(jù)倉庫,掌握BI相關(guān)工具,如ETL工具(SSIS, SAP DataService)、OLAP工具(SSAS)和前端展示工具(BO CR/Webi)
五,數(shù)據(jù)可視化
從事可視化工程師
崗位職責(zé)
1、負(fù)責(zé)大數(shù)據(jù)平臺業(yè)務(wù)邏輯和數(shù)據(jù)可視化功能,數(shù)據(jù)可視化組件研發(fā); ? ?
2、搭建基礎(chǔ)的可視化分析平臺,設(shè)計數(shù)據(jù)分析應(yīng)用的架構(gòu),實現(xiàn)實時數(shù)據(jù)調(diào)用與展示;
3、數(shù)據(jù)相關(guān)性分析與根因分析;
4、支持客戶需求分析和數(shù)據(jù)分析。
崗位要求
1、熟練Web前端技術(shù)(SVG/HTML5/JavaScriptdeJS等);
2、熟練D3、Echarts、Three.js、WebGL等開源數(shù)據(jù)可視化庫和技術(shù); ? ?
3、有Web服務(wù)器端編程語言(如Node/Java)開發(fā)經(jīng)驗優(yōu)先; ? ?
4、有blender(以及blender game engine)或者unity 3d或unreal engine等開發(fā)經(jīng)驗優(yōu)先
一些BI崗位的詳細(xì)介紹
BI工程師(開發(fā)、咨詢、實施)
BI開發(fā)工程師
崗位職責(zé)
1、執(zhí)行在框架設(shè)計的基礎(chǔ)上完成具體組件的概要設(shè)計、詳細(xì)設(shè)計編寫;??????????
2、完成BI系統(tǒng)具體組件的代碼編寫、單元測試;?????????????????????????????????
3、參與BI系統(tǒng)報表平臺技術(shù)架構(gòu)設(shè)計,數(shù)據(jù)庫結(jié)構(gòu)設(shè)計;??????????????????
4、參與BI系統(tǒng)數(shù)據(jù)倉庫的構(gòu)架、建模和實現(xiàn)。??
5、負(fù)責(zé)向需求方提供數(shù)據(jù)及業(yè)務(wù)分析服務(wù),負(fù)責(zé)整體風(fēng)控模型的優(yōu)化,理解并掌握BI報表需求;
崗位要求
1、有數(shù)據(jù)倉庫或統(tǒng)計分析類項目開發(fā)經(jīng)驗或較深的理論知識;
2、熟悉Cognos、Webfocus、ireport等數(shù)據(jù)分析報表開發(fā)工具和技術(shù);
3、熟悉Linux/Unix服務(wù)器,并了解一些基本的操作命令;
4、至少熟悉Informix/Oracle/SQL Server等數(shù)據(jù)庫中的一種,并在此基礎(chǔ)上有過ETL程序或存儲過程的開發(fā)。
5、能夠熟練應(yīng)用JSP/Servlet/JavaScript等WEB開發(fā)技術(shù),熟悉Spring,Struts2和iBATIS等主流的開發(fā)框架,熟悉BIRT、JasperReports等開源報表工具;
6、熟悉Linux?Shell、Perl等腳本語言,熟悉ORACLE數(shù)據(jù)庫,PL/SQL編程;
7、熟悉BI系統(tǒng)技術(shù)框架,熟悉數(shù)據(jù)采集流程,對數(shù)據(jù)倉庫有比較深入的了解;
8、熟悉行業(yè)經(jīng)營分析系統(tǒng)(BI)架構(gòu)及實現(xiàn)者優(yōu)先。
BI咨詢顧問
崗位職責(zé)
1、分析客戶的數(shù)據(jù)要求;
2、負(fù)責(zé)Qlikview/Tableau BI項目的實施和報表開發(fā);
3、負(fù)責(zé)校驗數(shù)據(jù),保障數(shù)據(jù)的準(zhǔn)確;
4、 負(fù)責(zé)客戶需求收集、分析,梳理業(yè)務(wù)流程解決方案,項目的拓展支撐;
5、撰寫需求規(guī)格書及各類相關(guān)文檔;
6、良好的團(tuán)隊合作、協(xié)調(diào)、問題處理能力;
崗位要求
1、對BI有系統(tǒng)的認(rèn)知;
2、熟練使用Qlikview,Tableau等前端工具;
3、熟悉MS SQL Server,熟練運(yùn)用SQL語言;
4、前端報表偏業(yè)務(wù)方向需熟悉主流報表工具或新興前端報表工具Qlikview、Tableau等優(yōu)先考慮;
6、后臺數(shù)據(jù)處理需熟悉掌握至少一種后臺ETL開發(fā)工具,例:Informatica powercenter、Datastage、OWB、微軟DTS、Kettle等;
7、后臺數(shù)據(jù)建模需熟練掌握至少一種數(shù)據(jù)挖掘算法和建模方法,了解建模;
8、良好的英文能力,能快速閱讀和撰寫英文技術(shù)文檔者優(yōu)先。
BI實施工程師
崗位職責(zé)
1、負(fù)責(zé)BI項目的需求調(diào)研與分析工作;
2、負(fù)責(zé)BI項目的方案設(shè)計、實施或項目管理工作;
3、參與公司BI產(chǎn)品和項目的實施開發(fā)工作。
崗位要求
1、良好的數(shù)據(jù)庫基礎(chǔ),精通SQL,深入掌握Oracle或其他數(shù)據(jù)庫,能夠進(jìn)行數(shù)據(jù)庫調(diào)優(yōu);
3、熟悉ORACLE、MYSQL、SQLSERVER等主流數(shù)據(jù)庫的安裝及配置、熟悉SQL語句編寫及ETL、BI實施工作;
3、熟悉LINUX操作系統(tǒng)安裝及常用命令;
4、熟悉BI基礎(chǔ)理論知識,使用過BI相關(guān)產(chǎn)品;
5、參與BI相關(guān)項目的實施工作;
6、熟悉TOMCAT、JDK等安裝及參數(shù)配置;
7、具備較強(qiáng)的語言表達(dá)能力,能與客戶順暢溝通或產(chǎn)品介紹;
8、具備較強(qiáng)的學(xué)習(xí)與動手能力,能夠適應(yīng)全國范圍內(nèi)出差;
9、熟悉hadoop大數(shù)據(jù)及自動化運(yùn)維工具經(jīng)驗者的待遇從優(yōu)。
ETL工程師
崗位要求:
具備一般的JAVA應(yīng)用開發(fā)能力;
熟悉Oracle下的分區(qū),表空間, SQL性能調(diào)優(yōu)等操作;
熟悉常用的ETL工具,如:kettle, informatica等;
熟悉常用的報表工具,如:Cognos等。
崗位職責(zé):
負(fù)責(zé)行業(yè)生產(chǎn)交易系統(tǒng)數(shù)據(jù)倉庫開發(fā),存儲過程編寫,數(shù)據(jù)模型研究,大數(shù)據(jù)研究
六,數(shù)據(jù)分析工程師
崗位職責(zé):
1、進(jìn)行業(yè)務(wù)和企業(yè)經(jīng)營行為分析,梳理業(yè)務(wù)規(guī)律和業(yè)務(wù)需求;
2、將業(yè)務(wù)需求轉(zhuǎn)化為數(shù)據(jù)需求,發(fā)現(xiàn)數(shù)據(jù)應(yīng)用場景,梳理指標(biāo)體系;
3、使用合適的數(shù)據(jù)分析工具進(jìn)行數(shù)據(jù)分析和模型設(shè)計;
4、提出基于數(shù)據(jù)的結(jié)果和分析建議,根據(jù)分析結(jié)果進(jìn)行行業(yè)研究、評估和預(yù)測;
5、編寫數(shù)據(jù)分析報告;
6、完成領(lǐng)導(dǎo)交辦的其他工作。
崗位要求
1、本科以上學(xué)歷,計算機(jī)、數(shù)學(xué)、統(tǒng)計學(xué)等相關(guān)專業(yè);
2、深刻理解大數(shù)據(jù)分析原理及相關(guān)應(yīng)用;
3、熟練掌握主流數(shù)據(jù)庫技術(shù);
4、精通數(shù)據(jù)分析、挖掘工具與方法,如SAS、R、Python、EXCEL等;
5、敏銳的數(shù)據(jù)觀察和分析能力,及時發(fā)現(xiàn)和分析其中隱含的變化和問題并給出建議;
6、良好的溝通能力和團(tuán)隊精神,較強(qiáng)的學(xué)習(xí)能力,能承擔(dān)一定的工作壓力;
還有就是要怎么學(xué)習(xí),要參加培訓(xùn)?還是自學(xué)?,培訓(xùn)花費(fèi)大但是有學(xué)習(xí)環(huán)境和氛圍并且有人指導(dǎo)可以全身心的投入學(xué)習(xí)中。要是自學(xué)在自己沒有基礎(chǔ)的情況下是容易走彎路的而且花費(fèi)時間會很長!
最后就是學(xué)歷問題,大專之上學(xué)習(xí)較好,找工作還算能行,不過大專找工作也有點(diǎn)吃力但是也能找到!要是你大學(xué)的專業(yè)是計算機(jī)或者數(shù)學(xué)統(tǒng)計學(xué)相關(guān)專業(yè)可能出來很有優(yōu)勢,是加分項!
希望能夠幫到你,歡迎關(guān)注,討論
感謝邀請!
以下回答屬于個人理解,不喜勿噴!
首先、想學(xué)習(xí)大數(shù)據(jù),就需要知道什么才是大數(shù)據(jù)!要學(xué)習(xí)哪些東西?
涉及大數(shù)據(jù)的東西其實太多了。
比如服務(wù)器負(fù)載均衡搭建,是不是數(shù)據(jù)大數(shù)據(jù)呢?數(shù)據(jù)庫分庫分表,主從數(shù)據(jù)庫是不是數(shù)據(jù)大數(shù)據(jù)呢?
這個要從大數(shù)據(jù)的起源來說,大數(shù)據(jù)起源是google公司寫的三篇論文開始說。
google公司是世界上軟件技術(shù)最強(qiáng)之一,人家公司自己有自己的大數(shù)據(jù)平臺,發(fā)布了三篇論文,分別是Google-File-System和Google-Bigtable以及Google-MapReduce。這三篇論文發(fā)布之后,才有的大數(shù)據(jù)的概念。
大數(shù)據(jù)中的File-System現(xiàn)在學(xué)習(xí)的叫hdfs。(Hadoop Distributed File System)
Hadoop分布式文件系統(tǒng),利用linux,來做的分布式文件系統(tǒng)。
MapReduce是一種編程模型。
Bigtable就是超大數(shù)據(jù)庫存儲了。
如果有興趣可以私信我。我可以給你一些學(xué)習(xí)的視頻資料
如果你從事大數(shù)據(jù)研發(fā)類工作,你需要學(xué)習(xí)一門開發(fā)語言,JAVA或者Python,用于開發(fā)大數(shù)據(jù)相關(guān)的數(shù)據(jù)存儲、抽取、計算分析等任務(wù)。
如果你從事大數(shù)據(jù)運(yùn)維類工作,你需要了解Hadoop、Hbase、MongDB、Spark等大數(shù)據(jù)產(chǎn)品。
最重要的是,你要了解運(yùn)用大數(shù)據(jù)技術(shù)的相關(guān)行業(yè),沒有業(yè)務(wù)知識,大數(shù)據(jù)技術(shù)也只是技術(shù),并不能產(chǎn)生更多的價值。
對于大數(shù)據(jù)想必了解過的人和想要學(xué)習(xí)大數(shù)據(jù)的童鞋都是有所了解的,知道大數(shù)據(jù)培訓(xùn)相關(guān)的一些學(xué)習(xí)內(nèi)容都有個大概的了解,但是對于大數(shù)據(jù)培訓(xùn)學(xué)習(xí)內(nèi)容的一些比較詳細(xì)的內(nèi)容還是有所差距的,我們學(xué)習(xí)大數(shù)據(jù)的主要目的就是未來以后可以到大企業(yè)去做相關(guān)的工作,拿到客觀的薪資。
那么這就需要我們了解企業(yè)對于大數(shù)據(jù)技術(shù)的需求是什么,大數(shù)據(jù)培訓(xùn)機(jī)構(gòu)大數(shù)據(jù)課程內(nèi)容是否包含這些內(nèi)容。接下來帶大家簡單了解一下。
第一階段Java語言基礎(chǔ),此階段是大數(shù)據(jù)剛?cè)腴T階段,主要是學(xué)習(xí)一些Java語言的概念、字符、流程控制等。
第二階段Javaee核心了解并熟悉一些HTML、CSS的基礎(chǔ)知識,JavaWeb和數(shù)據(jù)庫,Linux基礎(chǔ),Linux操作系統(tǒng)基礎(chǔ)原理、虛擬機(jī)使用與Linux搭建、Shell 腳本編程、Linux 權(quán)限管理等基本的 Linux 使用知識,通過實際操作學(xué)會使用。
第三階段 Hadoop 生態(tài)體系,Hadoop 是大數(shù)據(jù)的重中之重,無論是整體的生態(tài)系統(tǒng)、還是各種原理、使用、部署,都是大數(shù)據(jù)工程師工作中的核心,這一部分必須詳細(xì)解讀同時輔以實戰(zhàn)學(xué)習(xí)。
第四階段Spark生態(tài)體系,這也是是大數(shù)據(jù)非常核心的一部分內(nèi)容,在這一時期需要了解Scala語言的使用、各種數(shù)據(jù)結(jié)構(gòu)、同時還要深度講解spark的一系列核心概念比如結(jié)構(gòu)、安裝、運(yùn)行、理論概念等。
2021大數(shù)據(jù)學(xué)習(xí)路線圖:
本人工作以來一直在大數(shù)據(jù)領(lǐng)域深耕,對于大數(shù)據(jù)的入門者有少許的建議。大數(shù)據(jù)領(lǐng)域的工作方向主要分為以下幾類:
1.計算平臺方向
2.數(shù)據(jù)處理方向
3.數(shù)據(jù)分析方向
4.算法應(yīng)用方向
目前大部分公司的子部門也基本按這些進(jìn)行細(xì)分,上述各個領(lǐng)域的側(cè)重點(diǎn)也不一樣。
1.計算平臺方向。自從07年hadoop技術(shù)橫空出世以后,使得廉價的機(jī)器也能部署成分布式計算環(huán)境,所以這塊技術(shù)主要圍繞著hadoop生態(tài)。這個需要學(xué)習(xí)hdfs分布式文件,hbase或hive分布式數(shù)據(jù)庫技術(shù),spark或者flink等分布式計算技術(shù),zookeeper等分布式協(xié)調(diào)技術(shù)等。根據(jù)個人喜好可以側(cè)重底層技術(shù)的優(yōu)化及維護(hù),或者基于這些技術(shù)的應(yīng)用開發(fā)。
2.數(shù)據(jù)處理方向,大致是指ETL工程師。該職位主要是加工處理各個數(shù)據(jù)源的數(shù)據(jù),包括日志收集的、業(yè)務(wù)庫產(chǎn)生的等。根據(jù)這些數(shù)據(jù)供其他工種的同學(xué)進(jìn)行使用,比如產(chǎn)生各種報表,或者拿來給算法做訓(xùn)練。這一塊側(cè)重sql技術(shù)或者python技術(shù),他們更側(cè)重于對業(yè)務(wù)的理解,技術(shù)相對弱化一點(diǎn)。
3.數(shù)據(jù)分析方向。這塊的崗位主要是數(shù)據(jù)分析師,實際中使用比較多的是sql和excel。如果把業(yè)務(wù)比喻成人,數(shù)據(jù)就是血液,而數(shù)據(jù)分析師就是通過血液進(jìn)行人體癥狀判斷的醫(yī)生。很多時候數(shù)據(jù)分析師比業(yè)務(wù)方還懂業(yè)務(wù),他們需要分析業(yè)務(wù)的痛點(diǎn),通過分析數(shù)據(jù)尋找解決方案。這塊需要很強(qiáng)的邏輯分析能力和溝通能力。
4.算法工程師。這個基本上處于大數(shù)據(jù)食物鏈頂端的工種。他們需要精通高數(shù)、高代、概率論與統(tǒng)計等等數(shù)據(jù)基礎(chǔ),同時需要掌握python或scala至少一門語言,需要掌握機(jī)器學(xué)習(xí)或深度學(xué)習(xí)的知識。門檻相對其他工種稍高一點(diǎn)?;A(chǔ)的算法工程師一般調(diào)用算法開發(fā)包進(jìn)行業(yè)務(wù)開發(fā),同時進(jìn)行參數(shù)調(diào)優(yōu)。高級的算法工程師需要看論文自己實現(xiàn)算法,或者根據(jù)業(yè)務(wù)情況優(yōu)化數(shù)學(xué)公式。如果想從事這塊,你需要很扎實的數(shù)學(xué)基礎(chǔ),并且要熱愛數(shù)學(xué)才能持之以恒堅持下去。
1.首先你需要對大數(shù)據(jù)有一個清晰地認(rèn)知,什么是大數(shù)據(jù)?大數(shù)據(jù)都能干什么?我對大數(shù)據(jù)感興趣嗎?能堅持下來嗎?我要學(xué)習(xí)大數(shù)據(jù)現(xiàn)在有什么基礎(chǔ)?還有什么地方要補(bǔ)足?學(xué)習(xí)大數(shù)據(jù)之前千萬要想好這些,要不很有可能你學(xué)習(xí)到一個階段就半途而廢了。
2.如果你之前沒有編程的經(jīng)歷,那么你要選擇一門編程語言去輔助你做大數(shù)據(jù)項目。我建議學(xué)習(xí)Java,現(xiàn)在Java培訓(xùn)機(jī)構(gòu)很多,網(wǎng)上的視頻文章等學(xué)習(xí)資源也很多,而且大數(shù)據(jù)相關(guān)技術(shù)棧中有相當(dāng)一部分也是Java開發(fā)的,所以懂Java對于你學(xué)習(xí)大數(shù)據(jù)有很大的幫助。
3.如果你有Java基礎(chǔ),或者通過學(xué)習(xí)已經(jīng)掌握了JavaWeb相關(guān)的技術(shù),例如數(shù)據(jù)庫,數(shù)據(jù)結(jié)構(gòu),JQuery,Spring等,就可以開始接觸大數(shù)據(jù)相關(guān)的技術(shù)了。這一階段需要學(xué)習(xí)的知識很多,批處理框架Hadoop,分布式文件管理系統(tǒng)HDFS,流式計算框架Spark,交互式框架Hive等,另外你還需要惡補(bǔ)一些數(shù)學(xué)知識,如概率論,離散數(shù)學(xué),統(tǒng)計學(xué)等。
4.實踐是檢驗真理的唯一標(biāo)準(zhǔn),理論知識充足時候一定要實踐,記住,實踐非常重要,最好結(jié)合身邊的應(yīng)用場景,做一到兩個大數(shù)據(jù)的項目,跟隨著項目,你才能以最快的速度成長。
5.不斷地學(xué)習(xí)新的知識技術(shù),多去拜讀大數(shù)據(jù)相關(guān)的論文,其實到大數(shù)據(jù)層面,更多的是解決問題的思路而不是解決問題的辦法。
6.堅持,湊個偶數(shù)。
額,感覺你的問題問的有點(diǎn)泛。目前我也在學(xué)大數(shù)據(jù),個人建議可以從以下幾個步驟開始學(xué)習(xí)大數(shù)據(jù)。第一、先學(xué)習(xí)基礎(chǔ)知識,基礎(chǔ)知識包括java se,Linux,數(shù)據(jù)庫之類的。第二、學(xué)習(xí)Hadoop,Spark,Yarn,MapReduce之類的,數(shù)據(jù)存儲和處理架構(gòu)。第三、開始做點(diǎn)稍微有含金量的項目之類的。這僅僅是個人的感覺,由于目前我也在學(xué)習(xí)階段,回答的可能有欠缺,歡迎各路大佬批評指正。
可以從實際用途出發(fā)。
先問自己,為什么要學(xué)大數(shù)據(jù),希望找一份怎樣的工作,大數(shù)據(jù)與現(xiàn)在學(xué)習(xí)的專業(yè)間是否可以建立起關(guān)聯(lián)?
然后以終點(diǎn)為起點(diǎn),朝著目標(biāo),分析一下需要哪塊大數(shù)據(jù)技能?大數(shù)據(jù)內(nèi)容和方向都很多,要從目標(biāo)倒推,選擇你需要的部分。
最后,全網(wǎng)搜索網(wǎng)課,然后試聽,滿意的話就可以報名學(xué)習(xí)啦!
現(xiàn)在信息資源那么豐富,用心學(xué)習(xí)肯定能進(jìn)步很快,加油!
你好,很高興回答你的問題。
很多萌新會問:大數(shù)據(jù)好學(xué)嗎?大數(shù)據(jù)好就業(yè)嗎?其實啊,在學(xué)習(xí)大數(shù)據(jù)的過程中,重要的一點(diǎn)是我們要找準(zhǔn)自己的定位。學(xué)好大數(shù)據(jù)開發(fā)技術(shù),自然能夠有一個非常不錯的工作。在大數(shù)據(jù)學(xué)習(xí)過程中,你需要注意以下幾點(diǎn):
首先,你要了解一下自己的實際能力水平,比如零基礎(chǔ)學(xué)習(xí)大數(shù)據(jù)從自學(xué)角度來看是完全不可行的。然后從容應(yīng)對以后的學(xué)習(xí)途徑。在學(xué)習(xí)中需要更加明白你的目標(biāo),你邁向下一步的步伐,在大方向確定后再具體到小細(xì)節(jié),不能有絲毫的馬虎。
其次,你需要了解如今的市場行情,需要掌握什么技能才能找到一份大數(shù)據(jù)開發(fā)的工作,現(xiàn)在公司需要什么人才,將自己的技能與企業(yè)需求匹配,這個就是你學(xué)習(xí)的一個方向。
重要的是,你要確定自己的學(xué)習(xí)方式。如果你想系統(tǒng)學(xué)習(xí),可以跟著老師的進(jìn)度,但也要有自己的計劃,一個系統(tǒng)的學(xué)習(xí)規(guī)劃會讓你的學(xué)習(xí)更加有序進(jìn)行。
總結(jié)一下就是,你要知道自己每天學(xué)習(xí)什么,很多大數(shù)據(jù)小白在入門階段的時候,興致勃勃,但三分鐘熱度一過,或者遇到了非常棘手的難題,學(xué)著學(xué)著就放棄了,或者是明明在學(xué)習(xí),但是一段時間以后根本不知道自己在學(xué)習(xí)什么,這樣非常迷茫一點(diǎn)計劃沒有,肯定是學(xué)不會大數(shù)據(jù)的,所以學(xué)習(xí)大數(shù)據(jù)要擺正好心態(tài),有耐心細(xì)心一點(diǎn),要清楚地知道自己每天在學(xué)習(xí)什么。
如果你認(rèn)準(zhǔn)了想要在大數(shù)據(jù)行業(yè)進(jìn)行發(fā)展,也為了以后能有個高薪工作,有一個好的發(fā)展方向,且對自己樹立良好的自信心的話,建議可以選擇一個靠譜的培訓(xùn)機(jī)構(gòu)進(jìn)行系統(tǒng)學(xué)習(xí),努力就會有收獲哦!
我現(xiàn)在學(xué)習(xí)的南京安德門的中博開設(shè)了北美大數(shù)據(jù)班,前幾天出來了就業(yè)喜報,平均薪資都在10k+,有興趣的朋友可以來看看了解下,當(dāng)然了,合不合適還是看自己。
0
回答0
回答0
回答0
回答0
回答0
回答9
回答0
回答0
回答0
回答