事件背景
分析處理過程
問題處理以及分析
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://systransis.cn/yun/129689.html
摘要:我們在協(xié)助某客戶排查一個文件存儲的性能時發(fā)現(xiàn),其使用的訓(xùn)練性能和硬件的能力有很大的差距后面內(nèi)容有具體性能對比數(shù)據(jù)。但直接緩存數(shù)據(jù)在集群規(guī)模上升之后肯定是不現(xiàn)實的,我們初步只緩存各個訓(xùn)練文件的句柄信息,以降低元數(shù)據(jù)訪問開銷。我們在協(xié)助某AI客戶排查一個UFS文件存儲的性能case時發(fā)現(xiàn),其使用的Pytorch訓(xùn)練IO性能和硬件的IO能力有很大的差距(后面內(nèi)容有具體性能對比數(shù)據(jù))。讓我們感到困惑...
閱讀 1356·2023-01-11 13:20
閱讀 1707·2023-01-11 13:20
閱讀 1215·2023-01-11 13:20
閱讀 1906·2023-01-11 13:20
閱讀 4165·2023-01-11 13:20
閱讀 2757·2023-01-11 13:20
閱讀 1402·2023-01-11 13:20
閱讀 3671·2023-01-11 13:20