大家好，今天想和大家分享一下有關(guān)pandas的學(xué)習(xí)新的，我因工作需要，從去年12月開始接觸這個(gè)非常好用的包，到現(xiàn)在為止也是算是熟悉了一些，因此發(fā)現(xiàn)了它的強(qiáng)大之處，特意想要和朋友們分享，特別是如果你每天和excel打交道，總是需要編寫一些vba函數(shù)或者對(duì)行列進(jìn)行g(shù)roupby啊，merge，join啊之類的，相信我，pandas會(huì)讓你解脫的。

好啦，閑話少說，這篇文章的基礎(chǔ)是假設(shè)你已經(jīng)大概聽說過了pandas的一些概念和用途，如果還大體上不太清楚的朋友們，可以去百度一下相關(guān)基礎(chǔ)介紹，本分主要分成四個(gè)部分：

從Dataframe說起 ： 簡(jiǎn)單了解Df這種數(shù)據(jù)結(jié)構(gòu)，了解如何創(chuàng)建一個(gè)Df

Dataframe基礎(chǔ)操作 ：基于行，列，index選取數(shù)據(jù)，新增數(shù)據(jù)，刪除數(shù)據(jù)

Pandas 讀取 / 導(dǎo)出數(shù)據(jù)： 了解如何對(duì)excel，csv，tsv等常見文件進(jìn)行讀取并導(dǎo)出

總結(jié): 精華部分，為大家總結(jié)一些非常實(shí)用的一些方法,并附帶源碼 ipynb以及py文件提供下載

首先，讓我們明確一點(diǎn)，pandas這個(gè)包是在numpy的基礎(chǔ)上得到的，因此可能有的朋友會(huì)有疑問，要不要先學(xué)學(xué)numpy，我的個(gè)人建議是真的不太需要，因?yàn)榇蠖鄶?shù)的情況下基本用不到，當(dāng)然，如果你處理的是科學(xué)實(shí)驗(yàn)類型的數(shù)據(jù)的話，當(dāng)我沒說，我這里的應(yīng)用場(chǎng)景主要是一般類型的常見數(shù)據(jù)，比如：

你是銷售經(jīng)理，經(jīng)常需要匯總各地區(qū)的銷售情況

你在銀行工作，不可避免的需要和數(shù)字，excel打交道

你每天有很多重復(fù)的工作，比如備份，計(jì)算兩表合并，分組，聚類等等。。。。。。

這種情況下，學(xué)習(xí)pandas會(huì)非常有用，這里我們說的數(shù)據(jù)都是二維的table，在pandas中也稱作dataframe。
pandas中其實(shí)一共有三種類型的常見數(shù)據(jù)：

pandas主要包括三類數(shù)據(jù)結(jié)構(gòu)，分別是：

Series：一維數(shù)組，與Numpy中的一維array類似。二者與Python基本的數(shù)據(jù)結(jié)構(gòu)List也很相近，其區(qū)別是：List中的元素可以是不同的數(shù)據(jù)類型，而Array和Series中則只允許存儲(chǔ)相同的數(shù)據(jù)類型，這樣可以更有效的使用內(nèi)存，提高運(yùn)算效率。

DataFrame：二維的表格型數(shù)據(jù)結(jié)構(gòu)。很多功能與R中的data.frame類似?？梢詫ataFrame理解為Series的容器。以下的內(nèi)容主要以DataFrame為主。

Panel ：三維的數(shù)組，可以理解為DataFrame的容器。

Pandas官網(wǎng)，更多功能請(qǐng)參考 http://pandas-docs.github.io/...

這里我們主要聚焦在Dataframe上，一個(gè)dataframe長(zhǎng)的基本上如下這番模樣：

我們把這個(gè)簡(jiǎn)單的dataframe起個(gè)名字叫df，那么它包括的最基礎(chǔ)的元素有：

index：每行的索引，默認(rèn)是從0開始，比如上面的df[0] 就是指 John 15 78這一行，依次類推，當(dāng)然我們可以自己規(guī)定index，我以后會(huì)說

columns：列。這里就是指的是Name Age Mark 了

rows：行，df一共有3行

現(xiàn)在讓我們看一個(gè)完整的圖示：

Dataframe 是應(yīng)用最多也是最廣泛的數(shù)據(jù)結(jié)構(gòu)，現(xiàn)在就讓我們開始學(xué)習(xí)創(chuàng)建一個(gè)dataframe吧~

創(chuàng)建一個(gè)Dataframe的方法有很多，總體上來說最常見的有及種：

創(chuàng)建空dataframe

利用dict創(chuàng)建

從其他數(shù)據(jù)源讀?。ňW(wǎng)站，excel，mysql等）

真實(shí)場(chǎng)景中大多數(shù)都是從其他數(shù)據(jù)源讀取，我們會(huì)在第3部分講到

創(chuàng)建空dataframe

這個(gè)非常簡(jiǎn)單：

import pandas as pd 
  
# Calling DataFrame constructor 
df = pd.DataFrame() 
  
print(df)

Out:Empty DataFrame
    Columns: []
    Index: []

利用dict創(chuàng)建(1)

import pandas as pd
print (f" Using {pd.__name__},Version {pd.__version__}")

Out: Using pandas , version 0.23.4

首先要import pandas 包，這里縮寫為pd，現(xiàn)在讓我們從dict創(chuàng)建一個(gè)dataframe：

>>> dict = {"name":["Tom", "Bob", "Mary", "James"], 
        "age": [18, 30, 25, 40], 
        "city":["Beijing", "ShangHai","GuangZhou", "ShenZhen"]} 
  
>>> df = pd.DataFrame(dict) 
>>> df

創(chuàng)建結(jié)果如下：

很簡(jiǎn)單是不是，大家可能發(fā)現(xiàn)了，最左邊的東西就是index ，0，1，2，3，如果我們不指定會(huì)自動(dòng)生成從0默認(rèn)開始的序列，一直到你的dataframe的最后一行，類似于excel左邊的編號(hào)

利用dict創(chuàng)建(2)

這次讓我們創(chuàng)建的更加規(guī)范一些：

index = pd.Index(["Tom", "Bob", "Mary", "James"],name = "person")
cols = ["age","city"]
data = [[18,"Beijing"],
        [30,"ShangHai"],
        [25,"GuangZhou"],
        [40,"ShenZhen"]]

df =pd.DataFrame(index = index,data =data,columns = cols)
df

這里的主要區(qū)別在于我們主動(dòng)規(guī)定了‘name’列為索引。這種把一列默認(rèn)為索引的方式在excel和sql里都有，異曲同工

從其他數(shù)據(jù)源讀取（網(wǎng)站，excel，mysql等）

我會(huì)在第三部分介紹最常用的從excel，csv等讀取數(shù)據(jù)

總體來說，有關(guān)創(chuàng)建Dataframe的部分我們不用了解太多，因?yàn)閷?shí)際的場(chǎng)景基本不需要，都是直接從csv，tsv，sql，json等數(shù)據(jù)源直接獲取。

這里我們主要看一下基于索引，行，列，行和列的基礎(chǔ)操作，最后會(huì)為大家總結(jié)一下，現(xiàn)在拿剛剛我們創(chuàng)建過的dataframe為例：

添加新列

添加一列非常簡(jiǎn)單：

df["country"] = "USA"
df

df["adress"] = df["country"]
df

修改列中的值

修改一個(gè)列的值也是很容易的，我們可以這樣做:

df["country"] = "China"
df

或者稍微多想一步：

df["adress"] = df["city"]+","+ df["country"]
df

刪除列

我們可以應(yīng)用del或者drop函數(shù)，如果是drop，要注意傳參時(shí)要加上axis = 1.這里簡(jiǎn)單和大家說明一下axis，這個(gè)東西其實(shí)就是指軸向，默認(rèn)的axis=0，是縱向，axis=1是橫向

df.drop("country",axis=1)
df

del df["city"]
df

這里有一點(diǎn)大家需要注意：

drop和del的結(jié)果是基于df的兩次多帶帶操作，并不是連續(xù)的

如果我們執(zhí)行完drop后，重新查看df，這時(shí)你會(huì)發(fā)現(xiàn)df沒有變化，因?yàn)闆]有真正的刪除

要想真正刪除，需要加上關(guān)鍵字 inplace = True

因此如果我們想要連續(xù)刪除country和city這兩列，改進(jìn)后的代碼如下：

df.drop("country",axis=1, inplace=True)
del df["city"]
df

選取列

這個(gè)非常簡(jiǎn)單，實(shí)現(xiàn)代碼如下：

df["age"]  # 選取age這一列


    0    18
    1    30
    2    25
    3    40
    Name: age, dtype: int64

或者這樣：

df.name

    0      Tom
    1      Bob
    2     Mary
    3    James
    Name: name, dtype: object

如果想要選取多個(gè)列也很容易，傳遞一個(gè)list就行啦：

df[["age","name"]]

這里注意，和選取多帶帶一列不同，這里我們返回的類型是dataframe，之前的類型是series，我們可以這么理解，一列其實(shí)還是一維數(shù)組，但是兩列及以上是二維的了，當(dāng)然類型也變了

如果我們想要查看當(dāng)前的所有列：

df.columns

Out：Index([u"age", u"name", u"adress"], dtype="object")

如果我們想要重新對(duì)列進(jìn)行命名，基本有三種方法，大家挑一種自己喜歡的就行

傳遞list

傳遞dict

傳遞 axis

用list：

df.columns = ["Age","Name","Adress"]
df

用dict：

df.rename(index = str, columns = {"age":"Age","name":"Name","adress":"Adress"})  #這里index=str 有沒有都行，我這么做是為了規(guī)范
df

用axis：

df.rename(str.capitalize, axis="columns",inplace =True)
df

最后得到的效果是一樣的：

根據(jù)條件給列賦值

我們現(xiàn)在想要根據(jù)人的年齡新增一列 Group，假設(shè)要求如下：

18歲以下的是年輕人

18-30的是中年人

30以上的是老年人

我們有很多方法可以實(shí)現(xiàn)，先看一種，大家可以先忽視loc方法，這里傳達(dá)的就是基礎(chǔ)思路：

df["Group"] = "elderly"
df.loc[df["Age"]<=18, "Group"] = "young"
df.loc[(df["Age"] >18) & (df["Age"] <= 30), "Group"] = "middle_aged"
df

loc函數(shù) df.loc[row,column]

首先，大多數(shù)對(duì)于行的操作都可以通過loc函數(shù)實(shí)現(xiàn)，比如我們想要選取全部的行，除了直接打出df外，可以使用df.loc[:]

df.loc[:]

loc函數(shù)條件查詢

df.loc[df["Age"]>20]

loc函數(shù)條件行列查詢

df.loc[df["Group"]=="middle_aged","Name"]

1     Bob
2    Mary
Name: Name, dtype: object

Where 查詢

filter_adult = df["Age"]>25
result = df.where(filter_adult)
result

Query 篩選

# df.query("Age==30") 
df.query("Group=="middle_aged""and "Age>30" )

這里有很多有用的方法，可以幫助到大家大致了解數(shù)據(jù)的情況：

df.shape   # 了解行列情況
Out：(4, 4)

df.describe()   # 獲取可計(jì)算列基礎(chǔ)統(tǒng)計(jì)

# df.head(3) #查看前三行數(shù)據(jù)，默認(rèn)為5
df.tail(3)   #獲得最后三行數(shù)據(jù)

Pandas 支持大部分常見數(shù)據(jù)文件讀取與存儲(chǔ)。一般清楚下，讀取文件的方法以 pd.read_ 開頭，而寫入文件的方法以 pd.to_ 開頭。這里我們開始熟悉一下最實(shí)用的對(duì)于csv文件的讀取寫入

寫入CSV

df.to_csv("person.csv",index=None,sep=",")

import os
os.getcwd()
Out:  "C:UsersE560"

這樣大家就可以在"C:UsersE560"的路徑下找到我們剛剛生成的csv文件了，這里我把index=None，舍棄了索引值

讀取CSV

首先我們確認(rèn)和python文件同一目錄下存在我們剛剛導(dǎo)出的person.csv文件，之后可以很容易的讀取了：

person = pd.read_csv("person.csv")
person

這時(shí)我們發(fā)現(xiàn)，即使我們讀取的csv文件沒有索引，但是pandas已經(jīng)默認(rèn)幫我們加上了

好了，現(xiàn)在大家對(duì)pandas的使用已經(jīng)有了基礎(chǔ)的印象，我給大家簡(jiǎn)單總結(jié)一下常用的方法：

使用標(biāo)簽選取數(shù)據(jù)

df.loc[行標(biāo)簽,列標(biāo)簽]
df.loc["Tom":"Mary"] #選取 Tom至Mary的所有行的數(shù)據(jù)，Tom和Mary是index
df.loc[:,"city"] #選取 city 列的數(shù)據(jù)

df.loc 的第一個(gè)參數(shù)是行標(biāo)簽，第二個(gè)參數(shù)為列標(biāo)簽（可選參數(shù)，默認(rèn)為所有列標(biāo)簽），兩個(gè)參數(shù)既可以是列表也可以是單個(gè)字符，如果兩個(gè)參數(shù)都為列表則返回的是 DataFrame，否則，則為 Series。

PS：loc為location的縮寫。

使用位置（index）選取數(shù)據(jù)

df.iloc[行位置,列位置]    
df.iloc[1,1] #選取第二行，第二列的值，返回的為單個(gè)值    
df.iloc[[0,2],:] #選取第一行及第三行的數(shù)據(jù)    
df.iloc[0:2,:] #選取第一行到第三行（不包含）的數(shù)據(jù)   
df.iloc[:,1] #選取所有記錄的第二列的值，返回的為一個(gè)Series   
df.iloc[1,:] #選取第一行數(shù)據(jù)，返回的為一個(gè)Series

PS：iloc 則為 integer & location 的縮寫

通過邏輯指針進(jìn)行數(shù)據(jù)切片

df[邏輯條件]

df[df.age >= 18] #單個(gè)邏輯條件

df[(df.age >=18 ) & (df.country=="China") ] #多個(gè)邏輯條件組合

了解并掌握數(shù)據(jù)大致情況

常見讀取寫入數(shù)據(jù)

好了，其實(shí)這些就是想要告訴大家如何學(xué)習(xí)pandas，沒有必要了解每一個(gè)方法，但是現(xiàn)在想必你知道pandas能實(shí)現(xiàn)的功能很多，這樣你有具體需求時(shí)只要詳細(xì)查詢一下文檔即可，接下來幾期我們會(huì)重點(diǎn)來看pandas里面對(duì)于df的各種操作，從簡(jiǎn)單的數(shù)據(jù)清理到類似于excel里面的vba，包括cancat，merge，join等等

下載

我把這一期的ipynb文件和py文件放到了GIthub上，大家如果想要下載可以點(diǎn)擊下面的鏈接：

Github倉庫地址： 點(diǎn)我下載

好啦，這一期就講這么多，希望大家能夠繼續(xù)支持我，完結(jié)，撒花