成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

Faiss優(yōu)化:針對OMP_NUM_THREADS環(huán)境變量設(shè)置的測試驗證

wangtdgoodluck / 2267人閱讀

摘要：前言記錄一下在項目使用中的一些優(yōu)化，對環(huán)境變量參數(shù)的測試驗證用于控制線程并發(fā)數(shù)測試條件單個循環(huán)請求，持續(xù)時間大于基礎(chǔ)數(shù)據(jù)軟件環(huán)境檢索服務(wù)功能漢明距離計算歐式距離計算結(jié)論測試總結(jié)如下時，分布為，，用戶空間占比內(nèi)核空間占比空閑占比檢索耗

前言

記錄一下Faiss在項目使用中的一些優(yōu)化，對OMP_NUM_THREADS 環(huán)境變量參數(shù)的測試驗證～

   OMP_NUM_THREADS 用于控制線程并發(fā)數(shù).

   測試條件：單個循環(huán)請求，持續(xù)時間大于15m;
   基礎(chǔ)數(shù)據(jù)：200w
   軟件環(huán)境：docker; ubuntu 16.04 ;python2.7; faiss:1.4.0-cpu
   檢索服務(wù)功能: (漢明距離計算 + 歐式距離計算 )
結(jié)論： 
    測試總結(jié)如下：
        * CPU=1 & OMP_NUM_THREADS=1時，
         - 1m,5m,15m load average 分布為 31.54，41.16，43.43;
         - CPUs(%) 用戶空間占比：32.1;內(nèi)核空間占比:2.4;空閑占比：65.2；
         - faiss 檢索耗時大約在5-6ms左右；
         - 檢索服務(wù)整體響應(yīng)時間較平穩(wěn)，大部分在12ms左右;
    * CPU=3 & OMP_NUM_THREADS=1時，
         - 1m,5m,15m load average 分布為 49.17，48.70，50.54;
         - CPUs(%) 用戶空間占比：39.5;內(nèi)核空間占比:4.2;空閑占比：30.3；
         - faiss 檢索耗時大約在5-7ms左右；
         - 檢索服務(wù)整體響應(yīng)時間較平穩(wěn)，大部分耗時在12ms左右;
    * CPU=3 & OMP_NUM_THREADS=10時,
         - 1m,5m,15m load average 分布為 41.33，43.90，55.87;
         - CPUs(%) 用戶空間占比：20.7;內(nèi)核空間占比:2.3;空閑占比：58.0；
         - faiss 檢索耗時不穩(wěn)定，抖動較大, 大約在10-90ms左右；
         - 檢索服務(wù)整體響應(yīng)時間存在抖動，大約在14-92ms左右;
    * CPU=1 & OMP_NUM_THREADS=10時,
         - 1m,5m,15m load average 分布為 67.77，61.89，61.07;
         - CPUs(%) 用戶空間占比：20.6;內(nèi)核空間占比:2.9;空閑占比：18.2；
         - faiss 檢索耗時不穩(wěn)定，抖動較大, 大約在5-80ms左右；
         - 檢索服務(wù)整體響應(yīng)時間存在抖動，大約在13-99ms左右;

    最終結(jié)論：
           a: OMP_NUM_THREADS=1時，faiss檢索耗時較穩(wěn)定;
        b: OMP_NUM_THREADS=10時，faiss檢索耗時不穩(wěn)定，抖動較大;
        b: OMP_NUM_THREADS=1時, 多核CPU相較于單核CPU，負載略高，利用率略高，空閑占比較低；
        c: OMP_NUM_THREADS=10時, 多核CPU相較于單核CPU，負載較低，利用率較低，空閑占比較高；
        d: 優(yōu)化方向：OMP_NUM_THREADS=1 + 多進程
測試結(jié)果統(tǒng)計： * CPU=1 & OMP_NUM_THREADS=1



* CPU=3 & OMP_NUM_THREADS=1



* CPU=3 & OMP_NUM_THREADS=10



* CPU=1 & OMP_NUM_THREADS=10



文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/42858.html

相關(guān)文章

  • Faiss利用mkl加速,構(gòu)建索引訓(xùn)練時出錯。

    摘要：前言記錄一下構(gòu)建索引訓(xùn)練時碰到的一個坑。問題利用英特爾庫加速。時報如下錯誤解決方案在調(diào)用之前導(dǎo)入調(diào)用。代碼如下為什么這么做，我還不太理解。猜測是安裝版本兼容的問題。具體可以看我提的補充如出現(xiàn)導(dǎo)入失敗的情況。如解決方式如下執(zhí)行轉(zhuǎn)自個人博客 前言記錄一下faiss構(gòu)建索引訓(xùn)練時碰到的一個坑。Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so ...

    SnaiLiu 評論0 收藏0

  • 阿里云啟動 AliSQL 邀測，性能提升 70%

    摘要：云棲大會北京峰會上，阿里云宣布啟動數(shù)據(jù)庫開源項目。日前，用戶內(nèi)測邀請正式啟動。測試報告樣例阿里云關(guān)系數(shù)據(jù)庫服務(wù)內(nèi)核開發(fā)和運維團隊負責人，活躍的社區(qū)貢獻者丁奇表示，在通用基準測試場景下，版本比官方版本有著的性能提升。 2016 云棲大會·北京峰會上，阿里云宣布啟動 AliSQL 數(shù)據(jù)庫開源項目。日前，用戶內(nèi)測邀請正式啟動。根據(jù)阿里云數(shù)據(jù)庫團隊的規(guī)劃，今年 10 月，開發(fā)者將可以在阿里云 Cod...

    weij 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<