成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

Elasticsearch數(shù)據(jù)遷移工具之ESM

IT那活兒 / 3678人閱讀
Elasticsearch數(shù)據(jù)遷移工具之ESM

點擊上方“IT那活兒”，關注后了解更多內容，不管IT什么活兒，干就完了?。?！

在使用Elasticsearch的時候不可避免的會涉及到集群的升級或者是業(yè)務的遷移等場景，此時就需要對數(shù)據(jù)進行遷移，es數(shù)據(jù)遷移的工具有很多比如reindex、esm、elasticdump、logstash和快照等方式。

使用ESM的優(yōu)勢是針對少數(shù)業(yè)務遷出，索引和數(shù)據(jù)相對較少，不需要修改ES配置文件不用重啟集群，降低數(shù)據(jù)遷移對集群其他業(yè)務的影響的背景下相對來說速度較快的一種方案。

有數(shù)據(jù)測試表示遷移100W條數(shù)據(jù)ESM的速度僅次于reindex，接近logstash的兩倍之快，當然這些與網(wǎng)絡環(huán)境和硬件有必然的關系，我們在這里僅做參考即可。




01


實驗環(huán)境及準備


1.1 本次實驗環(huán)境
本地環(huán)境：
云環(huán)境：
ESM版本：0.5.0
1.2 實驗前準備
1.2.1 搭建兩套ES集群，在這里不做演示。
1.2.2 上傳esm的tar包并解壓。
1.2.3 查看一下幫助文檔并確認安裝成功。
1.3 ESM各個參數(shù)用法簡介

02


實驗案例


話不多說上實驗！
Demo1
1）創(chuàng)建一個索引，設置主分片為1，副本分片為2。
2）將索引導出到本地 -o將源索引的文檔輸出到本地文件。
./bin/esm -s http://192.168.1.20:9200 -m elastic:123456 -o wsq_json.out -x wsq_esm_inbdex
3）刪除索引。
4）將下載到本地的索引再進行導入。
./bin/esm -i wsq_json.out -n user:paswd -d http://192.168.1.20:9200
5）此時的索引主分片為1，副本為1。
由此可得知導出的數(shù)據(jù)并不會將其屬性也就是設置的mappings和setting導出，導入數(shù)據(jù)則會使用es默認分片數(shù)進行創(chuàng)建索引。同時也驗證了該工具離線本地遷移的可行性。
Demo2
1）添加kibana的測試數(shù)據(jù)集來做測試。
2）測試與云服務器kibana服務的網(wǎng)絡聯(lián)通性。
3）將w:并發(fā)數(shù)設置為10，b：bulk大小設置為 10M ，scroll批量值大小設置為10000。
由于實驗環(huán)境的虛擬機配置比較低，直接給整趴一個節(jié)點并報錯如下，如果在生產(chǎn)環(huán)境一定要根據(jù)硬件調整傳輸參數(shù)的大小，還有一個錯誤：復制索引參數(shù)為-x，這里使用了-o，這里參數(shù)如果沒跟對輕則超時報錯，重則節(jié)點掛掉。
4）把節(jié)點拉起來繼續(xù)開干。
第一個索引傳輸?shù)臅r候是正常的，當傳輸測試數(shù)據(jù)的時候發(fā)現(xiàn)Bulk少了2，在云服務器查看索引已經(jīng)正常傳輸過來，此時的索引其實沒有完整的傳輸過來。
將索引保存到本地，此時是正常的。
懷疑和Bulk的參數(shù)設定有關  Bulk默認大小為5，將Bulk調至100，則可以正確傳輸。


03


總結分析


使用ESM的時候支持指定集群任意節(jié)點，所以要選擇相對來說壓力較小的節(jié)點作為數(shù)據(jù)遷移的源節(jié)點較好。
數(shù)據(jù)遷移要根據(jù)場景選擇最適合的工具和方法才能達到最好的效果。


end




本文作者：王思強

本文來源：IT那活兒（上海新炬王翦團隊）

文章版權歸作者所有，未經(jīng)允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://systransis.cn/yun/129638.html

相關文章

  • JavaScript 模塊化現(xiàn)狀

    摘要：比如，這種模擬并不符合某些邊緣情況。然而，使用，結果是在引導模塊時，將指向，與使用的行為一致。這將更容易完成代碼庫的過渡，并使成為可能。 原文作者：Johannes Ewald @Jhnnns 原文鏈接：The state of JavaScript modules 已獲原作者授權翻譯及發(fā)布 showImg(https://segmentfault.com/img/bVOpwz?w...

    draveness 評論0 收藏0

  • Vue源碼之目錄結構

    摘要：運行時用來創(chuàng)建實例渲染并處理虛擬等的代碼?；旧暇褪浅ゾ幾g器的其它一切。版本可以通過標簽直接用在瀏覽器中。為這些打包工具提供的默認文件是只有運行時的構建。為瀏覽器提供的用于在現(xiàn)代瀏覽器中通過直接導入。 Vue版本：2.6.9 源碼結構圖 ├─ .circleci // 包含CircleCI持續(xù)集成/持續(xù)部署工具的配置文件 ├─ .github ...

    freewolf 評論0 收藏0

  • Vue源碼之目錄結構

    摘要：運行時用來創(chuàng)建實例渲染并處理虛擬等的代碼?；旧暇褪浅ゾ幾g器的其它一切。版本可以通過標簽直接用在瀏覽器中。為這些打包工具提供的默認文件是只有運行時的構建。為瀏覽器提供的用于在現(xiàn)代瀏覽器中通過直接導入。 Vue版本：2.6.9 源碼結構圖 ├─ .circleci // 包含CircleCI持續(xù)集成/持續(xù)部署工具的配置文件 ├─ .github ...

    icattlecoder 評論0 收藏0

  • Vue源碼之目錄結構

    摘要：運行時用來創(chuàng)建實例渲染并處理虛擬等的代碼?；旧暇褪浅ゾ幾g器的其它一切。版本可以通過標簽直接用在瀏覽器中。為這些打包工具提供的默認文件是只有運行時的構建。為瀏覽器提供的用于在現(xiàn)代瀏覽器中通過直接導入。 Vue版本：2.6.9 源碼結構圖 ├─ .circleci // 包含CircleCI持續(xù)集成/持續(xù)部署工具的配置文件 ├─ .github ...

    jifei 評論0 收藏0

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<