資訊專欄INFORMATION COLUMN
摘要：工具簡介工具簡介工具簡介本篇目錄概述概述主要功能主要功能文件結(jié)構(gòu)文件結(jié)構(gòu)與原遷移工具對比與原遷移工具對比版本和運行環(huán)境版本和運行環(huán)境概述概述概述是一款將不同源的數(shù)據(jù)同步到的遷移工具。支持從存儲或者本地目錄將數(shù)據(jù)遷移到中。
US3SYNC 是一款將不同源的數(shù)據(jù)同步到 US3 的遷移工具。通過將 US3SYNC 部署在本地或者云主機中，可以便捷地從本地或者其他云環(huán)境中將數(shù)據(jù)遷移到 US3 存儲空間。US3SYNC工具可以創(chuàng)建兩種模式的任務：
普通模式： 普通同步任務可以將源端某個指定前綴或文件夾的文件批量的同步到US3上。
fetch模式： fetch模式的同步任務是通過POST請求（描述需要同步的文件URL和目的位置）將文件同步到指定的位置上?？梢灾该魑募匠晒褪『蟮幕卣{(diào)接口，US3SYNC會在同步任務完成后，發(fā)送相應的通知。
普通任務工作原理
圖中master節(jié)點與worker節(jié)點功能：
master節(jié)點：
單點部署，負責遷移任務的管理。其主要邏輯是從源端拉取文件列表，然后將需要遷移的文件派發(fā)給worker進程遷移。
worker節(jié)點：
支持節(jié)點擴展，負責遷移文件。其主要邏輯是從源端下載文件，然后將文件上傳到目的端。
master節(jié)點與worker節(jié)點可以部署在同一臺機器，也可以部署在多臺機器上，用戶可以根據(jù)需要自行擴展worker節(jié)點，下面分別介紹：
部署在同一臺機器：
master節(jié)點和worker節(jié)點通過啟動時配置的內(nèi)部通信監(jiān)聽地址進行通信。用戶需要確保配置給worker節(jié)點的路徑是多帶帶的路徑，不可與master路徑以及其他worker路徑重復。
部署在不同機器：
Fetch任務工作原理master節(jié)點和worker節(jié)點通過啟動時配置的內(nèi)部通信監(jiān)聽地址進行通信，確保該地址在worker機器上可以訪問。用戶需要確保配置給worker節(jié)點的路徑是多帶帶的路徑，不可與master路徑以及其他worker路徑重復。
Fetch類型的任務跟普通任務工作原理大致類似，不同的是同步任務的源端需要發(fā)送POST請求來指定，而不是根據(jù)配置的源端的位置自動拉取。
POST請求語法POST /fetch/ HTTP 1.1
Authorization: Auth
Content-Type:application/jsonAuthorization為必選項，content-type, date等都是可選項
例如： Authorization: UCloud xxxx-xxxx-xxxx-xxxx-xxxx:xxxxxxxxxxxxx 計算方法偽碼如下：
method := "POST"
md5 := xxxxxx
contentType := xxxxxx
date := xxxxx
privateKey = xxxxx-xxxx-xxxxx-xxxx
publicKey = xxxx-xxxx-xxxx-xxxx
strToSign = method + "
" + md5 + "
" + contentType + "
" + date + "
"
signature = HmacSHA1(strToSign, privateKey)
signature = Base64(signature)
Authorization: "UCloud " + publicKey + ":" + signature此處的JobId可以在界面中獲取
返回內(nèi)容 名稱描述類型RetCode請求狀態(tài)碼IntErrMsg請求信息StringTaskId任務的唯一idString{
"RetCode":,
"ErrMsg":,
"TaskId":
}POST /fetch/ HTTP/1.1
Authorization:Authorization: UCloud this-is-my-public-key:AAAArandomsignature=
Content-Type:application/json
Content-Length: 159
{
"Url": "http://xxx.xxx.xxx/xxx/movie.mp4",
"Key":"movie.mp4",
"JobId": "xxxxxxxxxxxxxxxxxxxx"
"SuccessCallbackUrl":"http://xxx.xxx.xxx/xxx",
"FailureCallbackUrl":"http://xxx.xxx.xxx/xxx"
}HTTP/1.1 200 OK
Content-Type: application/json; charset=utf-8
Content-Length: 122
Connection: keep-alive
{
"RetCode":0,
"ErrMsg":"success",
"TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f"
}您可以在請求中指定任務完成后的回調(diào)地址，US3SYNC會依照任務執(zhí)行結(jié)果給相應的地址放松POST請求，請求內(nèi)容示例如下：
Failure callback{
"Code":1,
"TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f",
"Message":"We encountered an internal error.",
"Resource":"http://xxx.xxx.xxx/xxx/movie.mp4",
}{
"Code": 0,
"TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f",
"ETag":"xxxxxxxx",
"Key":"xxxxxxxxxxxxxxx.mp4",
"SHA1":"0bc51013e87869137a432200f57daf6affdd3d0c",
"Size":638304718
}注：暫不支持源端為歸檔類型的文件遷移到 US3。
US3SYNC
├── bin
│ |── master # master 可執(zhí)行程序
│ └── worker # worker 可執(zhí)行程序
├── conf
│ └── config.toml # 配置文件
├── cert # https證書
├── log # master日志文件存放路徑
├── pika # 依賴pika
└── console.sh # 啟動腳本原遷移工具使用請參照：原遷移工具
US3SYNCufile-import提供界面管理操作只支持命令行操作配置文件整合為單個多個配置文件數(shù)據(jù)不落盤，提高遷移效率數(shù)據(jù)落盤，需要根據(jù)需要提供磁盤資源使用pika緩存使用redis緩存按分片粒度并發(fā)，帶寬穩(wěn)定按文件粒度并發(fā)，對大文件遷移不友好支持按照大小進行數(shù)據(jù)校驗不支持校驗當前版本：1.4.0
運行環(huán)境Linux：CentOS 7.0 及以上 (可通過cat /etc/redhat-release查看)Ubuntu 16.04 及以上 (可通過cat /etc/issue查看)
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/126749.html
摘要：概覽概覽產(chǎn)品簡介產(chǎn)品概述功能概覽產(chǎn)品優(yōu)勢使用限制存儲類型地域和域名計量計費產(chǎn)品價格計費規(guī)則欠費處理計費案例快速上手開通服務開始使用控制臺指南存儲空間日志管理文件管理生命周期靜態(tài)網(wǎng)站托管域名管理鏡像回源跨區(qū)域復制跨域設置數(shù)據(jù)分析防盜鏈統(tǒng)計報 概覽產(chǎn)品簡介產(chǎn)品概述功能概覽產(chǎn)品優(yōu)勢使用限制存儲類型地域和域名計量計費產(chǎn)品價格計費規(guī)則欠費處理計費案例快速上手開通 US3 服務開始使用 US3控制臺指南...
摘要：工具簡介工具簡介工具簡介本篇目錄概述概述版本和運行環(huán)境版本和運行環(huán)境主要功能主要功能使用限制使用限制概述概述概述是一個在系統(tǒng)環(huán)境中，將的存儲空間掛載到本地掛載點的工具，掛載成功后，您可以像操作本地文件一樣操作存儲空間中的文件。 工具簡介本篇目錄概述版本和運行環(huán)境主要功能使用限制概述US3FS是一個在Linux/Windows系統(tǒng)環(huán)境中，將US3的存儲空間（Bucket）掛載到本地掛載點的工具...
摘要：工具簡介工具簡介工具簡介本篇目錄概述概述介紹介紹概述概述概述為了解決寫入對象存儲的問題，基于官方版本開發(fā)，增加了中類型為對象存儲的支持，支持前綴掛載。介紹介紹介紹是一個用于的開源列式數(shù)據(jù)庫，開發(fā)。具體介紹可參見官網(wǎng) 工具簡介本篇目錄概述ClickHouse介紹概述為了解決clickhouse寫入UCloud對象存儲US3的問題，US3基于官方clickhouse版本v20.8.7.15-lt...
摘要：產(chǎn)品底層升級后，推出工具，便于用戶對存儲空間文件進行管理操作，操作方式更靈活。文件掛載工具文件系統(tǒng)掛載工具可幫助用戶在環(huán)境下以協(xié)議方式掛載文件目錄，對文件對象進行操作。一致性比對工具一致性比對工具用于比對用戶本地與存儲空間中的文件是否一致。 常用工具本篇目錄管理工具其他工具除使用 US3 管理控制臺之外，您還可以通過 US3 提供的各類常用工具對 US3 存儲空間及空間內(nèi)的文件對象進行管理，...
摘要：用戶可通過數(shù)據(jù)遷移的方式，將第三方的存儲集群數(shù)據(jù)遷移至的存儲空間中，充分利用對象存儲按需收費，無須購買額外硬件資源的優(yōu)勢，對數(shù)據(jù)進行歸檔，以實現(xiàn)成本最優(yōu)。 數(shù)據(jù)遷移方案本篇目錄背景US3 鏡像回源功能US3 數(shù)據(jù)遷移工具背景對象存儲具有容量大、成本低、高擴展性以及高可靠性等優(yōu)勢，面對增量數(shù)據(jù)導致的存儲容量瓶頸、成本增加等問題。用戶可通過數(shù)據(jù)遷移的方式，將第三方的存儲集群數(shù)據(jù)遷移至 US3 的...
摘要：遷移工具歷史版本遷移工具歷史版本遷移工具歷史版本本篇目錄介紹介紹安裝步驟安裝步驟介紹介紹介紹是對象存儲提供的一款將數(shù)據(jù)遷移至存儲空間的工具。 遷移工具（歷史版本）本篇目錄介紹安裝步驟介紹ufile-import 是對象存儲 US3 提供的一款將數(shù)據(jù)遷移至 US3 存儲空間（Bucket） 的工具。您可以將 ufile-import 部署在本地服務或者云主機上，輕松將您其他云存儲的數(shù)據(jù)遷移到 ...
閱讀 484·2024-11-07 18:25
閱讀 130851·2024-02-01 10:43
閱讀 961·2024-01-31 14:58
閱讀 925·2024-01-31 14:54
閱讀 83048·2024-01-29 17:11
閱讀 3312·2024-01-25 14:55
閱讀 2086·2023-06-02 13:36
閱讀 3208·2023-05-23 10:26
