成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

Python實(shí)際操作HDF5文檔實(shí)例

89542767 / 442人閱讀

　　本文關(guān)鍵給大家介紹了Python實(shí)際操作HDF5文檔實(shí)例詳細(xì)說明，感興趣的小伙伴可以參考借鑒一下，希望可以有一定的幫助，祝愿大家多多的發(fā)展，盡早漲薪


　　前言


　　在Matlab操作HDF5文檔中早已闡述了HDF5文檔早已運(yùn)用Matlab對(duì)它進(jìn)行操控的方式。本文總的來說怎樣在Python下應(yīng)用HDF5文檔。我們依然依照Matlab操作HDF5文件信息順序排列，各是建立HDF5文檔，載入數(shù)據(jù)信息，獲取數(shù)據(jù)。


　　Python中的HDF5文檔依靠h5py工具箱


　　更為關(guān)聯(lián)的兩大主要參數(shù)為shape和maxshape，很明顯我希望數(shù)據(jù)的某個(gè)層面是能夠拓展的，因此在maxshape中，將期待拓展的層面標(biāo)識(shí)為None，別的層面和shape主要參數(shù)里邊的相同。有一點(diǎn)值得關(guān)注的是，使用compression='gzip'之后，全部數(shù)據(jù)能被很大的縮小，對(duì)較大的數(shù)據(jù)十分再用，而且在數(shù)據(jù)信息讀寫能力得時(shí)候，無需客戶顯式的編解碼。

　　h5file=h5py.File(filename,'w')

　　寫數(shù)據(jù)


　　X=h5file.create_dataset(shape=(0,args.patch_size,args.patch_size),#數(shù)據(jù)集的維度
　　maxshape=(None,args.patch_size,args.patch_size),#數(shù)據(jù)集的允許最大維度
　　dtype=float,compression='gzip',name='train',#數(shù)據(jù)類型、是否壓縮，以及數(shù)據(jù)集的名字
　　chunks=(args.chunk_size,args.patch_size,args.patch_size))#分塊存儲(chǔ)，每一分塊的大小


　　使用上邊的creat_dataset創(chuàng)立了dataset之后，讀寫能力數(shù)據(jù)就猶如讀寫能力numpy二維數(shù)組相同便捷，例如上邊的函數(shù)定義了數(shù)據(jù)'train'，其實(shí)就是自變量X之后，能夠下邊的方法去讀寫能力：


　　data=np.zeros((100,args.patch_size,arg))
　　X[0:100,:,:]=data


　　在前建立數(shù)據(jù)得時(shí)候，大家界定shape=(args.chunk_size,args.patch_size,args.patch_size)，假如擁有更多的數(shù)據(jù)信息，該怎么辦呢？

　　X.resize(X.shape[0]+args.chunk_size,axis=0)


　　能使用resize方的方法來拓展在maxshape中界定為None的那一個(gè)層面:


　　讀取數(shù)據(jù)集


　　h=h5py.File(hd5file,'r')
　　train=h['train']
　　train[1]
　　train[2]
　　...

　　載入h5文件信息方式也很簡(jiǎn)單，最先運(yùn)用h5py.File方法開啟相匹配的h5文檔，再將里邊某個(gè)數(shù)據(jù)取下至自變量，對(duì)于這個(gè)自變量的載入就猶如numpy一樣。


　　h=h5py.File(hd5file,'r')
　　train=h['train']
　　X=train[0:100]#一次從硬盤中讀取比較多的數(shù)據(jù)，X將存儲(chǔ)在內(nèi)存中
　　X[1]#從內(nèi)存中讀取
　　X[2]#從內(nèi)存中讀取


　　可是上邊的載入方式存在一些問題是每一次使用時(shí)(train[1],train[2])都要從硬盤讀取數(shù)據(jù)信息，這也會(huì)造成載入速度較慢。1個(gè)比較靠譜的方法是什么，每一次從硬盤讀取一個(gè)chunk_size的數(shù)據(jù)信息，再將這類文件存儲(chǔ)到內(nèi)存條中，在需要時(shí)從內(nèi)存條中載入，例如應(yīng)用上面的方式：


　　綜上所述，文章就給大家介紹到這里了，希望可以給大家?guī)韼椭?/p>

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/128839.html

相關(guān)文章

  • h5py快速入門指南

    摘要：下面的文章主要介紹的快速入門指南，翻譯自的官方文檔。當(dāng)使用時(shí)，最基本的準(zhǔn)則為類似于字典，類似于中的數(shù)組。所有的和都支持幾個(gè)數(shù)據(jù)位的附屬命名，稱為屬性。 h5py是Python語言用來操作HDF5的模塊。下面的文章主要介紹h5py的快速入門指南，翻譯自h5py的官方文檔：http://docs.h5py.org/en/lates... 。該翻譯僅為個(gè)人學(xué)習(xí)h5py為目的，如有翻譯不當(dāng)之處...

    desdik 評(píng)論0 收藏0

  • Caffe神經(jīng)網(wǎng)絡(luò)服務(wù)層及主要參數(shù)

    　　此篇文章主要是給大家介紹了Caffe神經(jīng)網(wǎng)絡(luò)服務(wù)層及主要參數(shù)實(shí)例詳細(xì)說明，感興趣的小伙伴可以參考借鑒一下，希望可以有一定的幫助，祝愿大家多多的發(fā)展，盡早漲薪　　前言　　要運(yùn)行caffe，必須要先構(gòu)建一個(gè)實(shí)體模型（model)，如較為常見的Lenet,Alex等，所以一個(gè)實(shí)體模型由好幾個(gè)屋（layer）構(gòu)成，每個(gè)屋又由很多主要參數(shù)構(gòu)成。每一個(gè)主要參數(shù)都界定在caffe.proto這一文檔中。要熟...

    89542767 評(píng)論0 收藏0

  • CentOS7.4，anaconda3，python3.6，tensorflow環(huán)境下gdal的編譯

    摘要：，，，環(huán)境下的編譯和問題解決這是可能會(huì)用到的額外的包，按自己需要先提前編譯。 CentOS7.4，anaconda3，python3.6，tensorflow環(huán)境下gdal的編譯和問題解決 showImg(https://segmentfault.com/img/bVbb607?w=258&h=379); 這是gdal可能會(huì)用到的額外的包，按自己需要先提前編譯。這里的話我主要用了pro...

    y1chuan 評(píng)論0 收藏0

  • Keras.js可以讓你使用瀏覽器在GPU上運(yùn)行Keras模型

    摘要：項(xiàng)目可以讓你使用在驅(qū)動(dòng)的你的瀏覽器上運(yùn)行訓(xùn)練好的模型。內(nèi)核卷積本地連接噪聲備注及其限制可以與主線程分開單獨(dú)運(yùn)行在中。所以在單獨(dú)的線程中運(yùn)行的好處被必須運(yùn)行在模式中的要求抵消了。所有的測(cè)試都會(huì)自動(dòng)運(yùn)行。 項(xiàng)目可以讓你使用 WebGL 在 GPU 驅(qū)動(dòng)的、你的瀏覽器上運(yùn)行訓(xùn)練好的 Keras 模型。模型直接根據(jù) Keras JSON 格式配置文件和關(guān)聯(lián)的 HDF5 權(quán)重而序列化（serializ...

    XiNGRZ 評(píng)論0 收藏0

  • 還在抱怨pandas運(yùn)行速度慢？這幾個(gè)方法會(huì)顛覆你的看法

    摘要：它還使用執(zhí)行所謂的鏈?zhǔn)剿饕?，這通常會(huì)導(dǎo)致意外的結(jié)果。但這種方法的最大問題是計(jì)算的時(shí)間成本。這些都是一次產(chǎn)生一行的生成器方法，類似中使用的用法。在這種情況下，所花費(fèi)的時(shí)間大約是方法的一半。根據(jù)每小時(shí)所屬的應(yīng)用一組標(biāo)簽。 作者：xiaoyu 微信公眾號(hào)：Python數(shù)據(jù)科學(xué) 知乎：python數(shù)據(jù)分析師 showImg(https://segmentfault.com/img/bVboe...

    keelii 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<