成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專(zhuān)欄INFORMATION COLUMN

利用python合并csv文件的方式實(shí)例

89542767 / 1330人閱讀


　　小編寫(xiě)這篇文章的主要目的，主要是給大家做一個(gè)解答，解答有幾個(gè)方向，包括利用python合并csv文件的一些相關(guān)實(shí)例，下面就給大家做出一個(gè)解答。


　　1.用concat方法合并csv


　　將兩個(gè)相同的csv文件進(jìn)行數(shù)據(jù)合并，通過(guò)pandas的read_csv和to_csv來(lái)完成，即采用concat方法：


　#加載第三方庫(kù)
　　importpandasaspd
　　importnumpyasnp
　　#讀取文件
　　df1=pd.read_csv("文件-1.csv")
　　df2=pd.read_csv("文件-2.csv")
　　#合并
　　df=pd.concat([df1,df2])
　　df.drop_duplicates()#數(shù)據(jù)去重
　　#保存合并后的文件
　　df.to_csv('文件.csv',encoding='utf-8')
　　也可以增加一列標(biāo)簽，以區(qū)別兩個(gè)合并后的數(shù)據(jù)：
　　#加載第三方庫(kù)
　　importpandasaspd
　　importnumpyasnp
　　#讀取文件
　　df1=pd.read_csv("文件-1.csv")
　　df1["來(lái)自文件"]="文件-1"
　　df2=pd.read_csv("文件-2.csv")
　　df2["來(lái)自文件"]="文件-2"
　　#合并
　　df=pd.concat([df1,df2])
　　df.drop_duplicates()#數(shù)據(jù)去重
　　#保存合并后的文件
　　df.to_csv('文件.csv',encoding='utf-8')


　　2.glob模塊批量合并csv


　　在運(yùn)用合在一起少許文檔時(shí)，可以用里面的concat方法。如果遇到很多的相同文檔必須合在一起，這個(gè)時(shí)候應(yīng)當(dāng)做好快速?gòu)?fù)制粘貼，這樣可以提高工作效率，提升實(shí)際操作高效率。


　　運(yùn)用Python快速?gòu)?fù)制粘貼csv，這兒講解應(yīng)用的辦法是引進(jìn)glob模塊。


　　glob模塊是最簡(jiǎn)單控制模塊其一，具體內(nèi)容少，它能夠搜索合乎特殊規(guī)矩的文檔路徑名。


　　根據(jù)glob方法賦值所有文件夾，獲取數(shù)據(jù)并增加儲(chǔ)存到文檔中。


　importnumpyasnp
　　importpandasaspd
　　importglob
　　importre
　　csv_list=glob.glob('*.csv')
　　print('共發(fā)現(xiàn)%s個(gè)CSV文件'%len(csv_list))
　　print('正在處理............')
　　foriincsv_list:
　　fr=open(i,'r',encoding='utf-8').read()
　　withopen('文件合集.csv','a',encoding='utf-8')asf:
　　f.write(fr)
　　print('合并完畢！')


　　以上方法是合并csv文件，要合并excel文件同理。


　　補(bǔ)充：Python處理(加載、合并)多個(gè)csv文件


　　數(shù)據(jù)集介紹：本數(shù)據(jù)集是某化工系統(tǒng)的數(shù)據(jù)，一共有很多個(gè)月的，我這里就拿一個(gè)月的數(shù)據(jù)集，August_data（八月的數(shù)據(jù)集)，一共有31個(gè)csv文件。


　　方法一for循環(huán)遍歷+os.listdir(directory_path)+[forfileintqdm]+os.path.join(path,file)


　importpandasaspd
　　importnumpyasnp
　　fromtqdmimporttqdm
　　importos
　　defget_data(path):
　　df_list=[]
　　forfileintqdm(os.listdir(path)):##進(jìn)度條
　　file_path=os.path.join(path,file)
　　df=pd.read_csv(file_path)
　　df_list.append(df)
　　df=pd.concat(df_list)
　　returndf
　　cPath='.\August_data'
　　#cPath='F:/BaiduNetdiskDownload/寧東電廠數(shù)據(jù)及分析要求/寧東脫銷(xiāo)系統(tǒng)優(yōu)化-上海交大/SCR數(shù)據(jù)-2020-1/8月數(shù)據(jù)'#F:/BaiduNetdiskDownload/寧東電廠數(shù)據(jù)及分析要求/寧東脫銷(xiāo)系統(tǒng)優(yōu)化-上海交大/SCR數(shù)據(jù)-2020-1/8月數(shù)據(jù)
　　#uPath=str(cPath)#uPath=unicode(cPath,'utf-8')
　　#dirs=os.listdir(TEST_PATH)
　　#print(dirs)
　　test_df=get_data(cPath)
　　print(test_df.head())
　　#test_df.to_csv(path_or_buf="test.csv",index=False)#保存為CSV文件


　　方法二glob方法


　#!/usr/bin/envpython
　　#coding=utf-8
　　importglob
　　importtime
　　importcsv
　　importpandasaspd
　　fromtqdmimporttqdm
　　#anewfile
　　#openalltheCSVfile
　　#遍歷文件夾下所有csv文件
　　TEST_PATH='.\August_data'
　　csv_list=glob.glob(f'{TEST_PATH}\*.csv')
　　print('共有%s個(gè)CSV文件'%len(csv_list))
　　#print(csv_list)
　　defget_data():
　　df_list=[]
　　forcsv_fileincsv_list:
　　df=pd.read_csv(csv_file)
　　df_list.append(df)
　　df=pd.concat(df_list)
　　print("LoadingOer")
　　returndf
　　get_data()


　　小編就為大家介紹到這里了，希望能給各位讀者帶來(lái)幫助。


文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/127843.html

相關(guān)文章

  • Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---31、數(shù)據(jù)存儲(chǔ)：文件存儲(chǔ)

    摘要：如果該文件已存在，文件指針將會(huì)放在文件的結(jié)尾。運(yùn)行結(jié)果以上是讀取文件的方法。為了輸出中文，我們還需要指定一個(gè)參數(shù)為，另外規(guī)定文件輸出的編碼。 上一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---30、解析庫(kù)的使用：PyQuery下一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---32、數(shù)據(jù)存儲(chǔ)：關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ):MySQL 我們用解析器解析出數(shù)據(jù)之后，接下來(lái)的一步就是對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)了，保存的形式可以...

    dreamans 評(píng)論0 收藏0

  • 聊聊 Jmeter 如何并發(fā)執(zhí)行 Python 腳本

    摘要：前言大家好，我是測(cè)試君最近有小伙伴后臺(tái)給我留言，說(shuō)自己用寫(xiě)了一個(gè)大文件上傳的接口，現(xiàn)在想本地檢驗(yàn)一下接口并發(fā)的穩(wěn)定性，問(wèn)我有沒(méi)有好的方案本篇文章以文件上傳為例，聊聊并發(fā)執(zhí)行腳本的完整流程實(shí)現(xiàn)文件上傳大文件上傳包含個(gè)步驟， ...

    王巖威 評(píng)論0 收藏0

  • 另類(lèi)爬蟲(chóng)：從PDF文件中爬取表格數(shù)據(jù)

    摘要：本文將展示如何利用的模塊從文件中爬取表格數(shù)據(jù)。但如何從文件中提取其中的表格，這卻是一個(gè)大難題。我們以輸出文件為例從文件中提取表格將表格數(shù)據(jù)轉(zhuǎn)化為文件得到的文件如下例在例中，我們將提取頁(yè)面中的某一區(qū)域的表格的數(shù)據(jù)。 簡(jiǎn)介 ??本文將展示一個(gè)稍微不一樣點(diǎn)的爬蟲(chóng)。??以往我們的爬蟲(chóng)都是從網(wǎng)絡(luò)上爬取數(shù)據(jù)，因?yàn)榫W(wǎng)頁(yè)一般用HTML,CSS,JavaScript代碼寫(xiě)成，因此，有大量成熟的技術(shù)來(lái)爬取...

    Anchorer 評(píng)論0 收藏0

  • 針對(duì)Python初學(xué)者，這13個(gè)好用到起飛的小技巧！

    摘要：如果你也是學(xué)習(xí)愛(ài)好者，今天講述的個(gè)小技巧，真挺香歡迎收藏學(xué)習(xí)，喜歡點(diǎn)贊支持。因此，鍵將成為值，而值將成為鍵。幸運(yùn)的是，這可以通過(guò)一行代碼快速完成。因此，我們的代碼不會(huì)因錯(cuò)誤而終止。 ...

    張憲坤 評(píng)論0 收藏0

  • 十三個(gè)好用到起飛的Python技巧！

    摘要：因其在各個(gè)領(lǐng)域的實(shí)用性與和等其他編程語(yǔ)言相比的生產(chǎn)力以及與英語(yǔ)類(lèi)似的命令而廣受歡迎。反轉(zhuǎn)字典一個(gè)非常常見(jiàn)的字典任務(wù)是如果我們有一個(gè)字典并且想要反轉(zhuǎn)它的鍵和值。 ??...

    ruicbAndroid 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<