資訊專(zhuān)欄INFORMATION COLUMN
摘要：編程基礎(chǔ)要學(xué)習(xí)如何用進(jìn)行數(shù)據(jù)分析，數(shù)據(jù)分析師建議第一步是要了解一些的編程基礎(chǔ)，知道的數(shù)據(jù)結(jié)構(gòu)，什么是向量列表數(shù)組字典等等了解的各種函數(shù)及模塊。數(shù)據(jù)分析師認(rèn)為數(shù)據(jù)分析有的工作都在處理數(shù)據(jù)。
本文為CDA數(shù)據(jù)分析研究院原創(chuàng)作品,轉(zhuǎn)載需授權(quán)
1.為什么選擇Python進(jìn)行數(shù)據(jù)分析？
Python是一門(mén)動(dòng)態(tài)的、面向?qū)ο蟮哪_本語(yǔ)言，同時(shí)也是一門(mén)簡(jiǎn)約，通俗易懂的編程語(yǔ)言。Python入門(mén)簡(jiǎn)單，代碼可讀性強(qiáng)，一段好的Python代碼，閱讀起來(lái)像是在讀一篇外語(yǔ)文章。Python這種特性稱(chēng)為“偽代碼”，它可以使你只關(guān)心完成什么樣的工作任務(wù)，而不是糾結(jié)于Python的語(yǔ)法。
另外，Python是開(kāi)源的，它擁有非常多優(yōu)秀的庫(kù)，可以用于數(shù)據(jù)分析及其他領(lǐng)域。更重要的是，Python與最受歡迎的開(kāi)源大數(shù)據(jù)平臺(tái)Hadoop具有很好的兼容性。因此，學(xué)習(xí)Python對(duì)于有志于向大數(shù)據(jù)分析崗位發(fā)展的數(shù)據(jù)分析師來(lái)說(shuō)，是一件非常節(jié)省學(xué)習(xí)成本的事。
Python的眾多優(yōu)點(diǎn)讓它成為最受歡迎的程序設(shè)計(jì)語(yǔ)言之一，國(guó)內(nèi)外許多公司也已經(jīng)在使用Python，例YouTube，Google，阿里云等等。
2.編程基礎(chǔ)
要學(xué)習(xí)如何用Python進(jìn)行數(shù)據(jù)分析， CDA數(shù)據(jù)分析師建議第一步是要了解一些Python的編程基礎(chǔ)，知道Python的數(shù)據(jù)結(jié)構(gòu)，什么是向量、列表、數(shù)組、字典等等；了解Python的各種函數(shù)及模塊。下圖整理了這一階段要掌握的知識(shí)點(diǎn)：
3.數(shù)據(jù)分析流程
Python是數(shù)據(jù)分析利器，掌握了Python的編程基礎(chǔ)后，就可以逐漸進(jìn)入數(shù)據(jù)分析的奇妙世界。CDA數(shù)據(jù)分析師認(rèn)為一個(gè)完整的數(shù)據(jù)分析項(xiàng)目大致可分為以下五個(gè)流程：
1)數(shù)據(jù)獲取
一般有數(shù)據(jù)分析師崗位需求的公司都會(huì)有自己的數(shù)據(jù)庫(kù)，數(shù)據(jù)分析師可以通過(guò)SQL查詢(xún)語(yǔ)句來(lái)獲取數(shù)據(jù)庫(kù)中想要數(shù)據(jù)。Python已經(jīng)具有連接sql server、mysql、orcale等主流數(shù)據(jù)庫(kù)的接口包，比如pymssql、pymysql、cx_Oracle等。
而獲取外部數(shù)據(jù)主要有兩種獲取方式，一種是獲取國(guó)內(nèi)一些網(wǎng)站上公開(kāi)的數(shù)據(jù)資料，例如國(guó)家統(tǒng)計(jì)局；一種是通過(guò)編寫(xiě)爬蟲(chóng)代碼自動(dòng)爬取數(shù)據(jù)。如果希望使用Python爬蟲(chóng)來(lái)獲取數(shù)據(jù)，我們可以使用以下Python工具：
Requests-主要用于爬取數(shù)據(jù)時(shí)發(fā)出請(qǐng)求操作。
BeautifulSoup-用于爬取數(shù)據(jù)時(shí)讀取XML和HTML類(lèi)型的數(shù)據(jù)，解析為對(duì)象進(jìn)而處理。
Scapy-一個(gè)處理交互式數(shù)據(jù)的包，可以解碼大部分網(wǎng)絡(luò)協(xié)議的數(shù)據(jù)包
2)數(shù)據(jù)存儲(chǔ)
對(duì)于數(shù)據(jù)量不大的項(xiàng)目，可以使用excel來(lái)進(jìn)行存儲(chǔ)和處理，但對(duì)于數(shù)據(jù)量過(guò)萬(wàn)的項(xiàng)目，使用數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)與管理會(huì)更高效便捷。
3)數(shù)據(jù)預(yù)處理
數(shù)據(jù)預(yù)處理也稱(chēng)數(shù)據(jù)清洗。大多數(shù)情況下，我們拿到手的數(shù)據(jù)是格式不一致，存在異常值、缺失值等問(wèn)題的，而不同項(xiàng)目數(shù)據(jù)預(yù)處理步驟的方法也不一樣。CDA數(shù)據(jù)分析師認(rèn)為數(shù)據(jù)分析有80%的工作都在處理數(shù)據(jù)。如果選擇Python作為數(shù)據(jù)清洗的工具的話，我們可以使用Numpy和Pandas這兩個(gè)工具庫(kù)：
Numpy - 用于Python中的科學(xué)計(jì)算。它非常適用于與線性代數(shù)，傅里葉變換和隨機(jī)數(shù)相關(guān)的運(yùn)算。它可以很好地處理多維數(shù)據(jù)，并兼容各種數(shù)據(jù)庫(kù)。
Pandas –Pandas是基于Numpy擴(kuò)展而來(lái)的，可以提供一系列函數(shù)來(lái)處理數(shù)據(jù)結(jié)構(gòu)和運(yùn)算，如時(shí)間序列等。
4)建模與分析
這一階段首先要清楚數(shù)據(jù)的結(jié)構(gòu)，結(jié)合項(xiàng)目需求來(lái)選取模型。
常見(jiàn)的數(shù)據(jù)挖掘模型有：
在這一階段，Python也具有很好的工具庫(kù)支持我們的建模工作：
scikit-learn-適用Python實(shí)現(xiàn)的機(jī)器學(xué)習(xí)算法庫(kù)。scikit-learn可以實(shí)現(xiàn)數(shù)據(jù)預(yù)處理、分類(lèi)、回歸、降維、模型選擇等常用的機(jī)器學(xué)習(xí)算法。
Tensorflow-適用于深度學(xué)習(xí)且數(shù)據(jù)處理需求不高的項(xiàng)目。這類(lèi)項(xiàng)目往往數(shù)據(jù)量較大，且最終需要的精度更高。
5)可視化分析
數(shù)據(jù)分析最后一步是撰寫(xiě)數(shù)據(jù)分析報(bào)告，這也是數(shù)據(jù)可視化的一個(gè)過(guò)程。在數(shù)據(jù)可視化方面，Python目前主流的可視化工具有：
Matplotlib-主要用于二維繪圖，它能讓使用者很輕松地將數(shù)據(jù)圖形化，并且提供多樣化的輸出格式。
Seaborn-是基于matplotlib產(chǎn)生的一個(gè)模塊，專(zhuān)攻于統(tǒng)計(jì)可視化，可以和Pandas進(jìn)行無(wú)縫鏈接。
按照這個(gè)流程，每個(gè)階段所涉及的知識(shí)點(diǎn)可以細(xì)分如下：
從上圖我們也可以得知，在整個(gè)數(shù)據(jù)分析流程，無(wú)論是數(shù)據(jù)提取、數(shù)據(jù)預(yù)處理、數(shù)據(jù)建模和分析，還是數(shù)據(jù)可視化，Python目前已經(jīng)可以很好地支持我們的數(shù)據(jù)分析工作。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/43023.html
摘要：今天小編來(lái)為大家介紹一個(gè)叫做的模塊，我們可以用它來(lái)繪制高清的交互式地圖，并且標(biāo)注出重要的地理位置等等，讀者在看過(guò)本篇文章之后，讀者大致會(huì)掌握使用來(lái)進(jìn)行交互式地圖的繪制在地圖上標(biāo)注出重要的建筑物安裝模塊畫(huà)一張最簡(jiǎn)單的地圖我們先來(lái)繪制一張 今天小編來(lái)為大家介紹一個(gè)叫做Folium的模塊，我們...
摘要：一介紹是在版本中用于連接和操作服務(wù)器的一個(gè)庫(kù)引入方式二連接數(shù)據(jù)庫(kù)的完整流程引入模塊引入第三方庫(kù)創(chuàng)建連接對(duì)象用戶(hù)名密碼端口號(hào)默認(rèn)為且此處為整數(shù)類(lèi)型數(shù)據(jù)庫(kù)名連接地址使用連接對(duì)象創(chuàng)建游標(biāo)對(duì)象游標(biāo)對(duì)象是通過(guò)鏈接對(duì)象進(jìn)行創(chuàng) ...
摘要：成果展示先來(lái)看看成果，原圖為文章開(kāi)始的圖片，一圖切九圖朋友圈九張圖發(fā)朋友圈的時(shí)候，還有個(gè)比較有意思的事，上傳時(shí)是亂序的，還需要你自己像玩拼圖一樣自己擺位置。這下又可以在朋友圈秀操作了比如改改背景呀，黑色背景什么的。 showImg(https://segmentfault.com/img/remote/1460000019609677); 01 前言 在日常的生活中，大家偶爾會(huì)看到朋友...
摘要：大家好我是小小明，今天給大家演示如何使用直接采集百度指數(shù)的數(shù)據(jù)。本文不演示如何使用自動(dòng)化工具采集百度指數(shù)，為了采集更簡(jiǎn)單將直接讀取并解析接口。 大家好我是小小明，今...
摘要：自己選擇一個(gè)好的圖像背景填充畫(huà)布注意背景圖片可根據(jù)自己的喜好進(jìn)行更換，還不趕緊定制一個(gè)屬于自己的煙花秀七夕總結(jié)以上便是博主給大家的七夕節(jié)禮物了，代碼不到行，但卻完成了一個(gè)超炫的效果。完整代碼可在公眾號(hào)后臺(tái)回復(fù)七夕獲取，最后祝大家七夕節(jié)快樂(lè)。 作者：xiaoyu 微信公眾號(hào)：Python數(shù)據(jù)科學(xué) 知乎：python數(shù)據(jù)分析師 showImg(https://segmentfault.c...
閱讀 3989·2021-10-19 13:23
閱讀 2360·2021-09-09 11:37
閱讀 2554·2019-08-29 15:20
閱讀 3451·2019-08-29 11:08
閱讀 1709·2019-08-26 18:27
閱讀 1794·2019-08-23 12:20
閱讀 3070·2019-08-23 11:54
閱讀 2594·2019-08-22 15:19
