資訊專欄INFORMATION COLUMN
摘要：因?yàn)閷?duì)分布式文件系統(tǒng)的訪問(wèn)是基于目錄樹(shù)的結(jié)構(gòu)，而對(duì)象存儲(chǔ)的索引只是簡(jiǎn)單的結(jié)構(gòu)，所以直接通過(guò)來(lái)模擬目錄樹(shù)的移動(dòng)目錄，刪除目錄等操作時(shí)時(shí)延高。
US3VMDS（全稱：US3 Virtual Metadata Service）工具是為了解決Hadoop訪問(wèn)UCloud對(duì)象存儲(chǔ)US3索引速度較慢的問(wèn)題而引入的一個(gè)服務(wù)組件。因?yàn)镠adoop對(duì)分布式文件系統(tǒng)的訪問(wèn)是基于目錄樹(shù)的結(jié)構(gòu)，而對(duì)象存儲(chǔ)的索引只是簡(jiǎn)單的KV結(jié)構(gòu)，所以直接通過(guò)US3來(lái)模擬目錄樹(shù)的移動(dòng)目錄，刪除目錄等操作時(shí)時(shí)延高。US3VMDS在內(nèi)存中基于US3的存儲(chǔ)空間索引構(gòu)建目錄樹(shù)結(jié)構(gòu)，這樣客戶端可以通過(guò)單次交互來(lái)實(shí)現(xiàn)復(fù)雜的邏輯，并可以利用全內(nèi)存的索引加速如Hadoop對(duì)分布式文件系統(tǒng)的getFileStatus，listStatus等操作。
US3VMDS實(shí)現(xiàn)了us3適配器用到的Head、PUT、ListObjects、Delete、Rename、Copy幾個(gè)API來(lái)處理索引請(qǐng)求，并在內(nèi)存中構(gòu)建了目錄樹(shù)，其位置類似HDFS實(shí)現(xiàn)的NameNode。US3 適配器IO請(qǐng)求則直接發(fā)給US3，只是Write IO成功后會(huì)通知US3VMDS(時(shí)延在150us左右，影響可以忽略不計(jì))。整個(gè)架構(gòu)如下圖所示。
大于等于v0.1.0版本的US3VMDS同樣支持高可用集群部署，集群中同時(shí)存在一個(gè)主節(jié)點(diǎn)和多個(gè)備節(jié)點(diǎn)。主節(jié)點(diǎn)會(huì)如上面描述的那樣正常提供緩存服務(wù)，備節(jié)點(diǎn)則僅會(huì)處理索引請(qǐng)求，但是不會(huì)將結(jié)果在內(nèi)存中緩存。集群中的各個(gè)節(jié)點(diǎn)以及US3Hadoop適配器會(huì)監(jiān)聽(tīng)zookeeper中的US3VMDS節(jié)點(diǎn)信息變動(dòng)，一旦發(fā)現(xiàn)主節(jié)點(diǎn)離線(主節(jié)點(diǎn)崩潰，網(wǎng)絡(luò)不通等問(wèn)題)，則將一個(gè)備用節(jié)點(diǎn)晉升為主節(jié)點(diǎn)來(lái)提供緩存服務(wù)。架構(gòu)如下圖:
該架構(gòu)適合加速加速備份場(chǎng)景和中小規(guī)模計(jì)算分析場(chǎng)景。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/126830.html
摘要：概覽概覽產(chǎn)品簡(jiǎn)介產(chǎn)品概述功能概覽產(chǎn)品優(yōu)勢(shì)使用限制存儲(chǔ)類型地域和域名計(jì)量計(jì)費(fèi)產(chǎn)品價(jià)格計(jì)費(fèi)規(guī)則欠費(fèi)處理計(jì)費(fèi)案例快速上手開(kāi)通服務(wù)開(kāi)始使用控制臺(tái)指南存儲(chǔ)空間日志管理文件管理生命周期靜態(tài)網(wǎng)站托管域名管理鏡像回源跨區(qū)域復(fù)制跨域設(shè)置數(shù)據(jù)分析防盜鏈統(tǒng)計(jì)報(bào) 概覽產(chǎn)品簡(jiǎn)介產(chǎn)品概述功能概覽產(chǎn)品優(yōu)勢(shì)使用限制存儲(chǔ)類型地域和域名計(jì)量計(jì)費(fèi)產(chǎn)品價(jià)格計(jì)費(fèi)規(guī)則欠費(fèi)處理計(jì)費(fèi)案例快速上手開(kāi)通 US3 服務(wù)開(kāi)始使用 US3控制臺(tái)指南...
摘要：工具簡(jiǎn)介工具簡(jiǎn)介工具簡(jiǎn)介本篇目錄概述概述版本和運(yùn)行環(huán)境版本和運(yùn)行環(huán)境主要功能主要功能使用限制使用限制概述概述概述是一個(gè)在系統(tǒng)環(huán)境中，將的存儲(chǔ)空間掛載到本地掛載點(diǎn)的工具，掛載成功后，您可以像操作本地文件一樣操作存儲(chǔ)空間中的文件。 工具簡(jiǎn)介本篇目錄概述版本和運(yùn)行環(huán)境主要功能使用限制概述US3FS是一個(gè)在Linux/Windows系統(tǒng)環(huán)境中，將US3的存儲(chǔ)空間（Bucket）掛載到本地掛載點(diǎn)的工具...
摘要：工具簡(jiǎn)介工具簡(jiǎn)介工具簡(jiǎn)介本篇目錄概述概述介紹介紹概述概述概述為了解決寫(xiě)入對(duì)象存儲(chǔ)的問(wèn)題，基于官方版本開(kāi)發(fā)，增加了中類型為對(duì)象存儲(chǔ)的支持，支持前綴掛載。介紹介紹介紹是一個(gè)用于的開(kāi)源列式數(shù)據(jù)庫(kù)，開(kāi)發(fā)。具體介紹可參見(jiàn)官網(wǎng) 工具簡(jiǎn)介本篇目錄概述ClickHouse介紹概述為了解決clickhouse寫(xiě)入U(xiǎn)Cloud對(duì)象存儲(chǔ)US3的問(wèn)題，US3基于官方clickhouse版本v20.8.7.15-lt...
摘要：產(chǎn)品底層升級(jí)后，推出工具，便于用戶對(duì)存儲(chǔ)空間文件進(jìn)行管理操作，操作方式更靈活。文件掛載工具文件系統(tǒng)掛載工具可幫助用戶在環(huán)境下以協(xié)議方式掛載文件目錄，對(duì)文件對(duì)象進(jìn)行操作。一致性比對(duì)工具一致性比對(duì)工具用于比對(duì)用戶本地與存儲(chǔ)空間中的文件是否一致。 常用工具本篇目錄管理工具其他工具除使用 US3 管理控制臺(tái)之外，您還可以通過(guò) US3 提供的各類常用工具對(duì) US3 存儲(chǔ)空間及空間內(nèi)的文件對(duì)象進(jìn)行管理，...
摘要：用戶可通過(guò)數(shù)據(jù)遷移的方式，將第三方的存儲(chǔ)集群數(shù)據(jù)遷移至的存儲(chǔ)空間中，充分利用對(duì)象存儲(chǔ)按需收費(fèi)，無(wú)須購(gòu)買(mǎi)額外硬件資源的優(yōu)勢(shì)，對(duì)數(shù)據(jù)進(jìn)行歸檔，以實(shí)現(xiàn)成本最優(yōu)。 數(shù)據(jù)遷移方案本篇目錄背景US3 鏡像回源功能US3 數(shù)據(jù)遷移工具背景對(duì)象存儲(chǔ)具有容量大、成本低、高擴(kuò)展性以及高可靠性等優(yōu)勢(shì)，面對(duì)增量數(shù)據(jù)導(dǎo)致的存儲(chǔ)容量瓶頸、成本增加等問(wèn)題。用戶可通過(guò)數(shù)據(jù)遷移的方式，將第三方的存儲(chǔ)集群數(shù)據(jù)遷移至 US3 的...
摘要：遷移工具歷史版本遷移工具歷史版本遷移工具歷史版本本篇目錄介紹介紹安裝步驟安裝步驟介紹介紹介紹是對(duì)象存儲(chǔ)提供的一款將數(shù)據(jù)遷移至存儲(chǔ)空間的工具。 遷移工具（歷史版本）本篇目錄介紹安裝步驟介紹ufile-import 是對(duì)象存儲(chǔ) US3 提供的一款將數(shù)據(jù)遷移至 US3 存儲(chǔ)空間（Bucket） 的工具。您可以將 ufile-import 部署在本地服務(wù)或者云主機(jī)上，輕松將您其他云存儲(chǔ)的數(shù)據(jù)遷移到 ...
閱讀 484·2024-11-07 18:25
閱讀 130851·2024-02-01 10:43
閱讀 961·2024-01-31 14:58
閱讀 925·2024-01-31 14:54
閱讀 83048·2024-01-29 17:11
閱讀 3312·2024-01-25 14:55
閱讀 2086·2023-06-02 13:36
閱讀 3208·2023-05-23 10:26
