問答專欄Q & A COLUMN
雖然目前大數(shù)據(jù)的細分崗位比較多，但是主要集中在五個方面，分別是底層平臺研發(fā)、大數(shù)據(jù)應用開發(fā)、大數(shù)據(jù)分析、大數(shù)據(jù)運維和大數(shù)據(jù)教育。除了底層平臺研發(fā)往往需要中高端人才以外，其他崗位的知識結(jié)構(gòu)并沒有太多的基礎(chǔ)性要求，下面對這幾大方面的知識結(jié)構(gòu)做一個具體的介紹。
大數(shù)據(jù)應用開發(fā)崗位需要的知識結(jié)構(gòu)包括大數(shù)據(jù)平臺體系結(jié)構(gòu)、編程語言、數(shù)據(jù)庫（NoSQL）、算法設(shè)計等內(nèi)容，可見在大數(shù)據(jù)應用開發(fā)崗位需要掌握SQL，NoSQL的意思是Not only SQL（不僅僅是SQL），不是說不需要SQL。對于應用程序開發(fā)人員來說，掌握SQL是基本的要求。
大數(shù)據(jù)分析崗位的知識結(jié)構(gòu)包括大數(shù)據(jù)平臺體系結(jié)構(gòu)、編程語言、數(shù)據(jù)庫、算法設(shè)計、算法實現(xiàn)、數(shù)據(jù)呈現(xiàn)等內(nèi)容，大數(shù)據(jù)分析注重算法的設(shè)計與實現(xiàn)，而數(shù)據(jù)呈現(xiàn)則往往需要通過SQL語言完成數(shù)據(jù)的提取（BI），所以對于大數(shù)據(jù)分析人員來說是必須掌握SQL語言的，而且需要對SQL語言非常熟悉。
大數(shù)據(jù)運維的知識結(jié)構(gòu)包括大數(shù)據(jù)平臺的搭建、組件部署、編程語言、平臺維護、網(wǎng)絡(luò)維護等內(nèi)容，對于運維人員來說掌握SQL語言也是一個基本的要求，因為大部分運維工作都需要對數(shù)據(jù)進行操作，通過Shell（Python）來編寫運維腳本是一個比較常見的做法。
大數(shù)據(jù)教育則是為大數(shù)據(jù)行業(yè)提供人才培養(yǎng)的服務，大數(shù)據(jù)教育更是涉及到以上各個崗位的知識結(jié)構(gòu)，當然需要掌握SQL語言了。
總之，目前大部分大數(shù)據(jù)崗位都是需要具備SQL基礎(chǔ)的，所以在學習大數(shù)據(jù)之前往往都先學習一下SQL和編程語言（Java、Python、Scala、R等）。
大數(shù)據(jù)是我的主要研究方向之一，目前也在帶大數(shù)據(jù)方向的研究生，我會陸續(xù)在頭條寫一些關(guān)于大數(shù)據(jù)方面的文章，感興趣的朋友可以關(guān)注我，相信一定會有所收獲。
如果有大數(shù)據(jù)方面的問題，也可以咨詢我，謝謝！
評論0
加載中...
對于數(shù)據(jù)研發(fā)(ETL)同學或者數(shù)據(jù)分析(BI)同學來說，SQL語言是必須要會的，因為你需要對大量數(shù)據(jù)進行加工處理，得到自己想要結(jié)果數(shù)據(jù)。
對于大數(shù)據(jù)平臺開發(fā)或者大數(shù)據(jù)組件開發(fā)而言，會不會SQL都可以，平時主要使用Java語言來進行工程開發(fā)，對于SQL語言的使用，并不是太多，除了在查詢關(guān)系型數(shù)據(jù)庫中數(shù)據(jù)時，會進行使用。
SQL,中文即結(jié)構(gòu)化查詢語言，主要用于對數(shù)據(jù)的查詢、更新、刪除等操作。SQL是一種標準化語言，旨在降低開發(fā)同學的入門門檻，快速對數(shù)據(jù)進行處理。一般對于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫用的比較多，比如查詢Mysql、Oracle數(shù)據(jù)庫中的數(shù)據(jù)等。
目前不僅僅傳統(tǒng)數(shù)據(jù)庫支持SQL,其實很多大數(shù)據(jù)組件也漸漸開始支持SQL,尤其是在數(shù)據(jù)倉庫方面，比如Hive，Spark SQL，F(xiàn)link SQL，Druid等等。支持SQL語言最直接的一個目的，就是提高開發(fā)效能。比如對于Flink組件，使用SQL你幾分鐘可能就將實時任務開發(fā)完成，但你如果使用其底層Java API進行開發(fā)，可能幾天你都不一定能開發(fā)出來。
數(shù)據(jù)研發(fā)同學主要的工作就是對數(shù)據(jù)進行ETL,即對數(shù)據(jù)進行抽?。╡xtract）、轉(zhuǎn)換（transform）、加載到數(shù)據(jù)存儲（load）?？梢允菍﹃P(guān)系型數(shù)據(jù)庫，也可以是對數(shù)據(jù)倉庫的數(shù)據(jù)進行加工。為了保持數(shù)據(jù)處理標準統(tǒng)一，需要使用SQL語言來對數(shù)據(jù)任務進行開發(fā)。統(tǒng)一使用SQL有一個好處，就是使得數(shù)據(jù)研發(fā)同學不會對開發(fā)感到陌生。
數(shù)據(jù)分析同學由于需要在數(shù)據(jù)中發(fā)現(xiàn)商業(yè)價值的論點，所以需要經(jīng)常對數(shù)據(jù)分析。而數(shù)據(jù)分析同學又不是專門的開發(fā)同學，精通開發(fā)，所以使用SQL語言，能夠降低其處理數(shù)據(jù)的難度?，F(xiàn)在的數(shù)據(jù)庫以及其他數(shù)據(jù)倉庫都支持SQL語言，數(shù)據(jù)分析同學想要在數(shù)據(jù)中找到自己的觀點，必須要學習SQL語言的使用。
大數(shù)據(jù)平臺或者大數(shù)據(jù)組件開發(fā)，平時都主要使用Java或者C++語言開發(fā)。而SQL語言主要是在數(shù)據(jù)處理方面應用比較多，由于工作內(nèi)容的側(cè)重點不同，所以大數(shù)據(jù)平臺或者組件開發(fā)可以不用學SQL，就能夠直接上手開發(fā)。
當然，在日常的項目開發(fā)中，或多或少都會接觸到數(shù)據(jù)庫方面的使用，當更新或者查詢數(shù)據(jù)庫中的數(shù)據(jù)時，會使用到SQL語言，個人建議開發(fā)同學還是掌握一下SQL，在面試的時候也是一個加分項，畢竟SQL語言使用起來也不難。
在大數(shù)據(jù)領(lǐng)域，是否一定要學習SQL,最主要的還是要看你日常工作的內(nèi)容，如果你平常和數(shù)據(jù)接觸比較多，主要就是對數(shù)據(jù)進行加工處理等，那么學習SQL語言你是跑不了的。但是，你平時主要工作就是使用Java進行開發(fā)，那學不學SQL對你沒有任何影響。
個人建議每個開發(fā)同學還是要掌握一定的SQL使用，畢竟你不接觸SQL,但你肯定會使用到數(shù)據(jù)庫，對數(shù)據(jù)庫的操作就必須使用SQL語言。技多不壓身，反正SQL也不難。
我是Lake，專注大數(shù)據(jù)技術(shù)、互聯(lián)網(wǎng)科技見解、程序員個人經(jīng)驗分享，如果我的問答對你有幫助的話，希望你能夠點贊轉(zhuǎn)發(fā)或者關(guān)注我，就是我持續(xù)分享在大數(shù)據(jù)方面的知識，非常感謝。
評論0
加載中...
我覺得學習大數(shù)據(jù)可以不學SQL，需要分布式計算用mr代替，不需要分布式計算用python也是可以的。但是這樣處理數(shù)據(jù)會比較麻煩，可能平時一個任務用SQL幾行代碼就搞定了，但是換成mr或python可能要幾百行都是有可能的。
如果要進大公司并且搞大數(shù)據(jù)，SQL肯定是必不可少的，因為SQL處理數(shù)據(jù)特別方便，公司相應的業(yè)務會用到，自己也不得不學。SQL語法并不難，多學一門語言并沒有什么壞處，所謂技多不壓身。
評論0
加載中...
sql是關(guān)系數(shù)據(jù)庫的基礎(chǔ)語言，是現(xiàn)在大數(shù)據(jù)平臺用的數(shù)據(jù)庫可不是這個，但是學習大數(shù)據(jù)還是非常有必要學習sql的。因為，一、大數(shù)據(jù)的來源很多是從既有數(shù)據(jù)庫中提速的，這些數(shù)據(jù)庫基本都是關(guān)系型數(shù)據(jù)庫。只有熟知sql才能讀懂，操作，整合語言的數(shù)據(jù)，并提速后重新存入大數(shù)據(jù)平臺。二、關(guān)系數(shù)據(jù)庫的架構(gòu)，邏輯，操作是經(jīng)典，學好它才能更好的領(lǐng)會數(shù)據(jù)庫的奧妙，熟練掌握sql的查詢，插入，刪除，修改，并表，對了解數(shù)據(jù)的操作和分析本身就有很大的幫助。
評論0
加載中...
先上結(jié)論：
學習大數(shù)據(jù)，SQL是基礎(chǔ)
SQL是數(shù)據(jù)庫的基本查詢語言，無論是做后端開發(fā)，還是做數(shù)據(jù)分析，機器學習或者數(shù)據(jù)挖掘，都需要熟練的掌握。
數(shù)據(jù)倉庫是大數(shù)據(jù)時代存放大量數(shù)據(jù)的地方，如果熟悉HIVE的同學，會發(fā)現(xiàn)HIVE的數(shù)倉操作幾乎和標準的SQL語言一致。所以一些mapreduce的基本操作都可以用SQL的語法來簡單的代替了。
總之，SQL是一個很簡單的語言，掌握他沒有壞處，所以好好學習吧！
PS：本號作者目前是某大廠機器學習算法工程師，致力于全棧AI算法和業(yè)務場景落地，非常樂于在網(wǎng)上分享最新的AI知識，也經(jīng)常開直播教同學AI算法和編程。感興趣的同學可以關(guān)注本頭條號，獲得最新的干貨！
評論0
加載中...
大數(shù)據(jù)涉及到很多方面，其中對編程和數(shù)據(jù)庫是基礎(chǔ)要求。
每一種編程都涉及到數(shù)據(jù)庫，可以說編程和數(shù)據(jù)庫是孿生一對出現(xiàn)的。
編程是你羅輯思維和應用的能力的直接體現(xiàn)，編程語言有很多，諸如JAVA，c／c++，Python，go，Javascript等等，掌握一門能熟練應用。
編程要和數(shù)據(jù)打交道，所以，數(shù)據(jù)庫操作就是必須的了，包裹關(guān)系數(shù)據(jù)庫和非關(guān)系數(shù)據(jù)庫（可以對應為SQL和 NoSQL）。
SQL是關(guān)系數(shù)據(jù)庫的結(jié)構(gòu)化查詢語言的縮寫，而NoSQL意思是“Not only SQL”（不僅僅是SQL了）……
所以，搞大數(shù)據(jù)，沒有應用SQL的能力，真是“未知其可也”。
評論0
加載中...
感謝邀請
目前大數(shù)據(jù)行業(yè)異?；鸨?，這也導致越來越多的開發(fā)人員涌向，從崗位職責來劃分的話，大數(shù)據(jù)開發(fā)可以分為大數(shù)據(jù)挖掘，大數(shù)據(jù)分析，平臺開發(fā)，以及大數(shù)據(jù)運維等崗位。
對于上述崗位要求所掌握的技能是不同的，比如大數(shù)據(jù)分析和大數(shù)據(jù)挖掘，就需要掌握爬蟲的必要知識，Hadoop生態(tài)體系上的一系列操作。平臺研發(fā)需要掌握平臺開發(fā)語言，前端，以及必要的網(wǎng)絡(luò)調(diào)優(yōu)等技能。
學習大數(shù)據(jù)是必須要學習SQL的。SQL作為傳統(tǒng)數(shù)據(jù)存儲工具，無論如今的大數(shù)據(jù)開發(fā)工具如何優(yōu)秀，如何便捷，他們相當一部分的構(gòu)建思想是遵從SQL開發(fā)的一套規(guī)則和邏輯，比如Hadoop上的Hive,它的語法就是參考SQL語法。盡管現(xiàn)在各家都有一套自己的獨立的生態(tài)體系，但如果要究其根源，很多都是復用現(xiàn)有技術(shù)，只是在此基礎(chǔ)上做改良包裝，這也就導致現(xiàn)在很多的開發(fā)人員會用工具，但不知道為什么要這樣做。如果只是做一個只會用工具的程序員是遠遠不夠的，我們還需要懂得如何更好的用，只有了解其原理才能熟練掌握并使用。
其實SQL的學習時非常簡單的，網(wǎng)上有很多的教程可供參考學習，只要我們稍加花費時間，就可以掌握其基礎(chǔ)用法，大數(shù)據(jù)的學習是一個漫長的過程，中間不光涉及SQL，還涉及各種開發(fā)語言，各種編程思想，機器學習，AI等知識。這對大數(shù)據(jù)開發(fā)來說是一個挑戰(zhàn)。
歡迎大家在評論區(qū)留言討論，如需更多幫助，請私信關(guān)注，謝謝。
評論0
加載中...
謝謝大數(shù)據(jù)分析，必須要學SQL相關(guān)的命令和相關(guān)的學習，因為數(shù)據(jù)在量大的時候，如果想在海量的數(shù)據(jù)中提取以及進行操作的話，普通的其他數(shù)據(jù)庫的操作方法，實際上與這個sql數(shù)據(jù)庫的操作是一樣的，應該說是大同小異，因此如果你要有學習大數(shù)據(jù)，就應該要學習sql數(shù)據(jù)庫的命令和相關(guān)的課程。
評論0
加載中...
0
回答0
回答0
回答2
回答0
回答0
回答0
回答0
回答0
回答0
回答
