{eval=Array;=+count(Array);}
數(shù)據(jù)分析是干什么的?
在企業(yè)里收集數(shù)據(jù)、計(jì)算數(shù)據(jù)、提供數(shù)據(jù)給其他部門使用的。
數(shù)據(jù)分析有什么用?
從工作流程的角度看,至少有5類分析經(jīng)常做:
那數(shù)據(jù)分析是什么的?
數(shù)據(jù)分析大體上分3步:
1:獲取數(shù)據(jù)。通過埋點(diǎn)獲取用戶行為數(shù)據(jù),通過數(shù)據(jù)同步,打通內(nèi)部各系統(tǒng)數(shù)據(jù)。以及做數(shù)倉建設(shè),存儲數(shù)據(jù)。
2:計(jì)算數(shù)據(jù)。根據(jù)分析要求,提取所需要的數(shù)據(jù),計(jì)算數(shù)據(jù),做表。
3:解釋數(shù)據(jù)。解讀數(shù)據(jù)含義,推導(dǎo)出一些對業(yè)務(wù)有用的結(jié)論。
那么數(shù)據(jù)分析師主要做以上三點(diǎn)的工作嗎?
并不全是,這個(gè)在不同企業(yè),情況不一樣。如果公司規(guī)模大的話,獲取數(shù)據(jù)經(jīng)常是數(shù)據(jù)開發(fā)組完成的,他們的職位一般是“數(shù)據(jù)開發(fā)工程師”或者“大數(shù)據(jù)工程師”。解釋數(shù)據(jù)則是運(yùn)營自己寫ppt做解讀,留給“數(shù)據(jù)分析師”的,其實(shí)就是中間的計(jì)算數(shù)據(jù)的一步。
有些公司(一般是做電商的),數(shù)據(jù)是直接從淘寶、天貓、亞馬遜等平臺導(dǎo)出的,然后基于這些數(shù)據(jù)做分析。有些公司(一般是傳統(tǒng)企業(yè)),數(shù)據(jù)是直接用的大型的BI產(chǎn)品,然后所有人基于BI產(chǎn)品導(dǎo)出數(shù)據(jù)分析有些公司規(guī)模很小,就直接一個(gè)小組從數(shù)據(jù)埋點(diǎn)到數(shù)倉到提數(shù)全干了。
總之情況五花八門。
第一,在分析方法上,兩者并沒有本質(zhì)不同。
數(shù)據(jù)分析的核心工作是人對數(shù)據(jù)指標(biāo)的分析、思考和解讀,人腦所能承載的數(shù)據(jù)量是極其有限的。所以,無論是“傳統(tǒng)數(shù)據(jù)分析”,還是“大數(shù)據(jù)分析”,均需要將原始數(shù)據(jù)按照分析思路進(jìn)行統(tǒng)計(jì)處理,得到概要性的統(tǒng)計(jì)結(jié)果供人分析。兩者在這個(gè)過程中是類似的,區(qū)別只是原始數(shù)據(jù)量大小所導(dǎo)致處理方式的不同。
第二,在對統(tǒng)計(jì)學(xué)知識的使用重心上,兩者存在較大的不同。
“傳統(tǒng)數(shù)據(jù)分析”使用的知識主要圍繞“能否通過少量的抽樣數(shù)據(jù)來推測真實(shí)世界”的主題展開?!按髷?shù)據(jù)分析”主要是利用各種類型的全量數(shù)據(jù)(不是抽樣數(shù)據(jù)),設(shè)計(jì)統(tǒng)計(jì)方案,得到兼具細(xì)致和置信的統(tǒng)計(jì)結(jié)論。
第三,與機(jī)器學(xué)習(xí)模型的關(guān)系上,兩者有著本質(zhì)差別。
“傳統(tǒng)數(shù)據(jù)分析”在大部分時(shí)候,知識將機(jī)器學(xué)習(xí)模型當(dāng)黑盒工具來輔助分析數(shù)據(jù)。而“大數(shù)據(jù)分析”,更多時(shí)候是兩者的緊密結(jié)合,大數(shù)據(jù)分析產(chǎn)出的不僅是一份分析效果測評,后續(xù)基于此來升級產(chǎn)品。在大數(shù)據(jù)分析的場景中,數(shù)據(jù)分析往往是數(shù)據(jù)加墨的前奏,數(shù)據(jù)建模是數(shù)據(jù)分析的成果。
第一,在分析方法上,兩者并沒有本質(zhì)不同。
數(shù)據(jù)分析的核心工作是人對數(shù)據(jù)指標(biāo)的分析、思考和解讀,人腦所能承載的數(shù)據(jù)量是極其有限的。所以,無論是“傳統(tǒng)數(shù)據(jù)分析”,還是“大數(shù)據(jù)分析”,均需要將原始數(shù)據(jù)按照分析思路進(jìn)行統(tǒng)計(jì)處理,得到概要性的統(tǒng)計(jì)結(jié)果供人分析。兩者在這個(gè)過程中是類似的,區(qū)別只是原始數(shù)據(jù)量大小所導(dǎo)致處理方式的不同。
第二,在對統(tǒng)計(jì)學(xué)知識的使用重心上,兩者存在較大的不同。
“傳統(tǒng)數(shù)據(jù)分析”使用的知識主要圍繞“能否通過少量的抽樣數(shù)據(jù)來推測真實(shí)世界”的主題展開。“大數(shù)據(jù)分析”主要是利用各種類型的全量數(shù)據(jù)(不是抽樣數(shù)據(jù)),設(shè)計(jì)統(tǒng)計(jì)方案,得到兼具細(xì)致和置信的統(tǒng)計(jì)結(jié)論。
第三,與機(jī)器學(xué)習(xí)模型的關(guān)系上,兩者有著本質(zhì)差別。
“傳統(tǒng)數(shù)據(jù)分析”在大部分時(shí)候,知識將機(jī)器學(xué)習(xí)模型當(dāng)黑盒工具來輔助分析數(shù)據(jù)。而“大數(shù)據(jù)分析”,更多時(shí)候是兩者的緊密結(jié)合,大數(shù)據(jù)分析產(chǎn)出的不僅是一份分析效果測評,后續(xù)基于此來升級產(chǎn)品。在大數(shù)據(jù)分析的場景中,數(shù)據(jù)分析往往是數(shù)據(jù)加墨的前奏,數(shù)據(jù)建模是數(shù)據(jù)分析的成果。
第一,在分析方法上,兩者并沒有本質(zhì)不同。
數(shù)據(jù)分析的核心工作是人對數(shù)據(jù)指標(biāo)的分析、思考和解讀,人腦所能承載的數(shù)據(jù)量是極其有限的。所以,無論是“傳統(tǒng)數(shù)據(jù)分析”,還是“大數(shù)據(jù)分析”,均需要將原始數(shù)據(jù)按照分析思路進(jìn)行統(tǒng)計(jì)處理,得到概要性的統(tǒng)計(jì)結(jié)果供人分析。兩者在這個(gè)過程中是類似的,區(qū)別只是原始數(shù)據(jù)量大小所導(dǎo)致處理方式的不同。
第二,在對統(tǒng)計(jì)學(xué)知識的使用重心上,兩者存在較大的不同。
“傳統(tǒng)數(shù)據(jù)分析”使用的知識主要圍繞“能否通過少量的抽樣數(shù)據(jù)來推測真實(shí)世界”的主題展開。“大數(shù)據(jù)分析”主要是利用各種類型的全量數(shù)據(jù)(不是抽樣數(shù)據(jù)),設(shè)計(jì)統(tǒng)計(jì)方案,得到兼具細(xì)致和置信的統(tǒng)計(jì)結(jié)論。
第三,與機(jī)器學(xué)習(xí)模型的關(guān)系上,兩者有著本質(zhì)差別。
“傳統(tǒng)數(shù)據(jù)分析”在大部分時(shí)候,知識將機(jī)器學(xué)習(xí)模型當(dāng)黑盒工具來輔助分析數(shù)據(jù)。而“大數(shù)據(jù)分析”,更多時(shí)候是兩者的緊密結(jié)合,大數(shù)據(jù)分析產(chǎn)出的不僅是一份分析效果測評,后續(xù)基于此來升級產(chǎn)品。在大數(shù)據(jù)分析的場景中,數(shù)據(jù)分析往往是數(shù)據(jù)加墨的前奏,數(shù)據(jù)建模是數(shù)據(jù)分析的成果。
第一,在分析方法上,兩者并沒有本質(zhì)不同。
數(shù)據(jù)分析的核心工作是人對數(shù)據(jù)指標(biāo)的分析、思考和解讀,人腦所能承載的數(shù)據(jù)量是極其有限的。所以,無論是“傳統(tǒng)數(shù)據(jù)分析”,還是“大數(shù)據(jù)分析”,均需要將原始數(shù)據(jù)按照分析思路進(jìn)行統(tǒng)計(jì)處理,得到概要性的統(tǒng)計(jì)結(jié)果供人分析。兩者在這個(gè)過程中是類似的,區(qū)別只是原始數(shù)據(jù)量大小所導(dǎo)致處理方式的不同。
第二,在對統(tǒng)計(jì)學(xué)知識的使用重心上,兩者存在較大的不同。
“傳統(tǒng)數(shù)據(jù)分析”使用的知識主要圍繞“能否通過少量的抽樣數(shù)據(jù)來推測真實(shí)世界”的主題展開?!按髷?shù)據(jù)分析”主要是利用各種類型的全量數(shù)據(jù)(不是抽樣數(shù)據(jù)),設(shè)計(jì)統(tǒng)計(jì)方案,得到兼具細(xì)致和置信的統(tǒng)計(jì)結(jié)論。
第三,與機(jī)器學(xué)習(xí)模型的關(guān)系上,兩者有著本質(zhì)差別。
“傳統(tǒng)數(shù)據(jù)分析”在大部分時(shí)候,知識將機(jī)器學(xué)習(xí)模型當(dāng)黑盒工具來輔助分析數(shù)據(jù)。而“大數(shù)據(jù)分析”,更多時(shí)候是兩者的緊密結(jié)合,大數(shù)據(jù)分析產(chǎn)出的不僅是一份分析效果測評,后續(xù)基于此來升級產(chǎn)品。在大數(shù)據(jù)分析的場景中,數(shù)據(jù)分析往往是數(shù)據(jù)加墨的前奏,數(shù)據(jù)建模是數(shù)據(jù)分析的成果。
兩者需要具備的技術(shù)技能也是相差很大的。
(1)大數(shù)據(jù)分析一般需要具備:爬蟲、ETL、分析、大數(shù)據(jù) 4個(gè)方面的技能。
(2)數(shù)據(jù)分析師一般更加注重的是產(chǎn)品,運(yùn)營,營銷,SQL和SPSS等僅僅是實(shí)現(xiàn)我們分析的工具而已。
B站全網(wǎng)最全大數(shù)據(jù)學(xué)習(xí)路線:
https://www.bilibili.com/read/cv5213600?spm_id_from=333.788.b_636f6d6d656e74.7
首先,大數(shù)據(jù)分析師是大數(shù)據(jù)時(shí)代背景下產(chǎn)生的一種新型技術(shù)崗位,與傳統(tǒng)數(shù)據(jù)分析師的區(qū)別主要體現(xiàn)在三個(gè)方面,其一是技術(shù)體系結(jié)構(gòu)不同;其二是崗位任務(wù)目的存在一定的區(qū)別;其三是工作場景具有一定的區(qū)別。
對于大數(shù)據(jù)分析師來說,要具備更加全面的知識結(jié)構(gòu),涉及到大數(shù)據(jù)平臺知識、算法設(shè)計(jì)知識、程序設(shè)計(jì)知識和具體的行業(yè)知識等,所以相對于傳統(tǒng)的數(shù)據(jù)分析師來說,大數(shù)據(jù)分析師的從業(yè)門檻有了一定程度的提升。從目前行業(yè)領(lǐng)域的人才招聘情況來看,大數(shù)據(jù)分析崗位往往需要具有較高的學(xué)歷要求,研究生往往更愿意從事相關(guān)崗位。
大數(shù)據(jù)分析的目的與傳統(tǒng)的數(shù)據(jù)分析目的也存在一定的區(qū)別,主要體現(xiàn)在兩個(gè)方面,其一是大數(shù)據(jù)分析比較注重?cái)?shù)據(jù)的價(jià)值化,簡單的說,大數(shù)據(jù)分析的結(jié)果會提升數(shù)據(jù)的價(jià)值,而傳統(tǒng)數(shù)據(jù)分析的目的往往是以應(yīng)用為導(dǎo)向的。另一個(gè)區(qū)別在于,大數(shù)據(jù)分析的結(jié)果往往是為了提供給智能體使用,比如人工智能領(lǐng)域的算法訓(xùn)練、驗(yàn)證等過程都需要大數(shù)據(jù)分析的參與。
在工作場景上,大數(shù)據(jù)分析與傳統(tǒng)的數(shù)據(jù)分析也存在一定的區(qū)別,大數(shù)據(jù)分析往往需要借助于大數(shù)據(jù)平臺進(jìn)行,比如Hadoop、Spark,以及各種商用的大數(shù)據(jù)平臺等,但是傳統(tǒng)的數(shù)據(jù)分析往往會基于Excel或者是傳統(tǒng)數(shù)據(jù)庫進(jìn)行。相對于傳統(tǒng)數(shù)據(jù)分析工具來說,大數(shù)據(jù)分析的工具往往更加豐富,復(fù)雜程度也有明顯的提升。
大數(shù)據(jù)分析師和數(shù)據(jù)分析師完全是2個(gè)不同的方向:
數(shù)據(jù)分析師,偏業(yè)務(wù)。需要理解很多經(jīng)濟(jì)管理類的 比如 市場營銷,管理學(xué),財(cái)務(wù)會計(jì)。
對于專業(yè)的適配度比較低,很多領(lǐng)域都需要這崗位。
需要使用 spss,excel,sas等軟件,看到數(shù)據(jù),找到原因,得出結(jié)論。主要就是分析解讀數(shù)據(jù)背后的商業(yè)運(yùn)用和因果分析,用戶行為 ,數(shù)據(jù)分析的目的是市場營銷
大數(shù)據(jù)分析師,把大數(shù)據(jù)做成小數(shù)據(jù),再用高性能服務(wù)器 提高運(yùn)算速度。
大數(shù)據(jù)分析師,偏技術(shù)方向,適合程序員轉(zhuǎn)型去做。
在技術(shù)層面要做數(shù)據(jù)庫優(yōu)化,分表,緩存,新的數(shù)據(jù)查詢和遍歷方法。如果你的數(shù)據(jù)量很大,那么只有部分?jǐn)?shù)據(jù)時(shí)用來分析的,或者需要做變換計(jì)算等,那么你需要在20G數(shù)據(jù)中 找出10G數(shù)據(jù)用于分析,這個(gè)時(shí)候就需要做技術(shù)。
數(shù)據(jù)倉庫,數(shù)據(jù)庫等,做數(shù)據(jù)表等這個(gè)時(shí)候就需要ETL工程師。假設(shè)分析服務(wù)器,這個(gè)時(shí)候就需要 大數(shù)據(jù)云計(jì)算工程師。就是做技術(shù)了,開始學(xué)習(xí) 數(shù)據(jù)庫,服務(wù)器,編程等,那么大數(shù)據(jù)分析師就變成工程師了,變成程序員了。
大家不要看大數(shù)據(jù)很熱,你們公司是否有這么多數(shù)據(jù)?你學(xué)習(xí)的話時(shí)候有深厚編程基礎(chǔ)?
你所在的城市時(shí)候 崗位很多?每個(gè)公司都是需要數(shù)據(jù)分析人員,而不是每家公司都需要大數(shù)據(jù)人員。很多公司的數(shù)據(jù)量并不是很大,不需要大數(shù)據(jù)人員。你時(shí)候愿意做一個(gè)程序員?
大數(shù)據(jù)是互聯(lián)網(wǎng)上海量的數(shù)據(jù)挖掘,而數(shù)據(jù)挖掘更多的是針對企業(yè)內(nèi)部的小數(shù)據(jù)挖掘,數(shù)據(jù)分析是進(jìn)行有針對性的分析和診斷,大數(shù)據(jù)需要分析的是趨勢和發(fā)展趨勢,數(shù)據(jù)挖掘主要是發(fā)現(xiàn)問題和診斷。 數(shù)據(jù)分析更多采用統(tǒng)計(jì)學(xué)的知識,對原數(shù)據(jù)進(jìn)行描述性和探索性分析,從結(jié)果中發(fā)現(xiàn)價(jià)值信息來評估和修正現(xiàn)狀。數(shù)據(jù)挖掘不僅僅用到統(tǒng)計(jì)學(xué)的知識,還要用到機(jī)器學(xué)習(xí)的知識,這里會涉及到模型的概念。數(shù)據(jù)挖掘具有更深的層次,來發(fā)現(xiàn)未知的規(guī)律和價(jià)值。 數(shù)據(jù)分析是將數(shù)據(jù)轉(zhuǎn)化為信息的工具,而數(shù)據(jù)挖掘是將信息轉(zhuǎn)化為認(rèn)知的工具。如果我們想從數(shù)據(jù)(即認(rèn)知)中提取某些規(guī)律,我們往往需要將數(shù)據(jù)分析與數(shù)據(jù)挖掘相結(jié)合使用。
近幾年,隨著科技的日新月異,許多之前沒有聽過的名詞接踵而出。比如云計(jì)算,比如大數(shù)據(jù),可以說云計(jì)算的誕生催生了大數(shù)據(jù)。所謂大數(shù)據(jù),Gartner研究機(jī)構(gòu)給出的定義是這樣的:一種需要具有更強(qiáng)決策力、洞察發(fā)現(xiàn)力以及流程優(yōu)化能力的全新處理模式,以此來適應(yīng)海量多樣化的信息資產(chǎn)。筆者認(rèn)為,大數(shù)據(jù)并非簡單的一種概念,而是一種方法,簡而言之,就是通過分析和挖掘數(shù)據(jù),從而輔助進(jìn)行決策的方法。
隨著近幾年大數(shù)據(jù)的越來越火熱,相關(guān)的大數(shù)據(jù)職業(yè)也成為了熱門,在諸多的大數(shù)據(jù)相關(guān)職位中,數(shù)據(jù)分析師和大數(shù)據(jù)工程師儼然已經(jīng)成為當(dāng)下最熱門的職位之二。那么數(shù)據(jù)工程師和數(shù)據(jù)分析師有什么區(qū)別呢?
首先來說數(shù)據(jù)分析師,所謂數(shù)據(jù)分析師,簡單來說就是從不同的行業(yè)中獲取數(shù)據(jù),然后對獲取到的數(shù)據(jù)進(jìn)行分析,并對相關(guān)問題進(jìn)行解答,一般來說,數(shù)據(jù)分析師的主要任務(wù)就是對數(shù)據(jù)進(jìn)行梳理、分析以及可視化,從而幫助企業(yè)做出決策。而根據(jù)行業(yè)的不同,數(shù)據(jù)分析師的頭銜也不同,如:業(yè)務(wù)分析師、運(yùn)營分析師等,但無論頭銜是什么,數(shù)據(jù)分析師的崗位職責(zé)是相同的。
而對于數(shù)據(jù)分析師來說,需要掌握的技能也是比較多的,例如編程、統(tǒng)計(jì)學(xué)、數(shù)學(xué)、數(shù)據(jù)可視化、通信技術(shù)等等,這些都說明了數(shù)據(jù)分析師是一個(gè)通才,對人們的全面性要求也比較高。
說完數(shù)據(jù)分析師,接下來就說一下數(shù)據(jù)工程師。在大數(shù)據(jù)行業(yè)中,數(shù)據(jù)工程師扮演的角色舉足輕重,甚至可以說是不可或缺的。所謂數(shù)據(jù)工程師,其實(shí)本質(zhì)上還是軟件工程師,也就是我們常說的程序員,他們是整個(gè)大數(shù)據(jù)系統(tǒng)的構(gòu)建者和優(yōu)化者,數(shù)據(jù)工程師的職責(zé)就是保證數(shù)據(jù)接收、轉(zhuǎn)移的準(zhǔn)確性,維護(hù)系統(tǒng)的安全與穩(wěn)定。和數(shù)據(jù)分析師不同的是,數(shù)據(jù)工程師一般不需要注意統(tǒng)計(jì)、分析和建模,他們的工作重點(diǎn)在于數(shù)據(jù)的架構(gòu)、運(yùn)算以及存儲等方面,而數(shù)據(jù)工程師所需要具備的能力技能一般也就是超強(qiáng)的編程能力以及編寫數(shù)據(jù)查詢程序的能力。
最后,相信大家對于數(shù)據(jù)分析師和數(shù)據(jù)工程師的區(qū)別一定有所了解了。總的來說,這兩個(gè)職位都是當(dāng)前非常熱門的工作崗位,但職責(zé)有所不同,對于技術(shù)的要求和側(cè)重點(diǎn)也不盡相同,數(shù)據(jù)工程師更偏向于技術(shù),而數(shù)據(jù)分析師則更加注重統(tǒng)計(jì)分析,但這兩個(gè)職位的未來發(fā)展前景都是非常不錯(cuò)的,大家可以根據(jù)自己的喜好興趣和個(gè)人能力來決定應(yīng)聘或者轉(zhuǎn)行哪個(gè)職位。
0
回答0
回答0
回答0
回答0
回答0
回答0
回答0
回答1
回答0
回答