資訊專欄INFORMATION COLUMN
摘要：數(shù)據(jù)遷移過程中的速率問題。關(guān)閉源站數(shù)據(jù)遷移典型案例剖析七?？蛻裟澳暗臄?shù)據(jù)量非常大，如果采用常用的傳輸辦法，整個遷移過程要耗時半年，并且會嚴重影響線上的業(yè)務(wù)。為此，七牛為陌陌制定了個性化的數(shù)據(jù)遷移方案。
無論是計劃擁抱云服務(wù)還是打算從正在使用的云服務(wù)切換到另外一家，這其中數(shù)據(jù)的遷移是很關(guān)鍵的一步。在遷移過程中可能遇到以下問題：
數(shù)據(jù)遷移文件路徑問題。
數(shù)據(jù)遷移過程中的速率問題。
寄送磁盤后的遷移過程中，上傳數(shù)據(jù)不完整。
針對這些問題，一個考慮全面的遷移系統(tǒng)就顯得尤為重要，尤其是數(shù)據(jù)遷移的速度和安全性。首先七牛雖然為非結(jié)構(gòu)化存儲，但是仍然支持帶文件路徑進行上傳，不影響原先數(shù)據(jù)的訪問規(guī)則；其次，數(shù)據(jù)遷移的速率基本不受網(wǎng)絡(luò)帶寬影響，主要受到磁盤讀寫速度的限制；上傳數(shù)據(jù)不完整，七牛會主動檢測數(shù)據(jù)遷移的完整性，通過鏡像存儲也可以補全未上傳成功的數(shù)據(jù)。一般場景有以下幾種：
場景一：自有機房遷移到七牛且數(shù)據(jù)少量
________________________________________＿＿＿＿＿＿＿＿＿＿＿＿＿
有兩種方案可以選擇：
一、完全使用七牛鏡像存儲功能
利用七牛提供的鏡像存儲功能，可以非常簡單地將源站的數(shù)據(jù)被動地同步到七牛云存儲中，所謂被動同步即——只有在資源被訪問時，七牛才會回源站獲取一次，此后對該資源的訪問都不會再發(fā)生回源動作，而是直接從七牛這里拿到數(shù)據(jù)。鏡像存儲使用方式如下：
假設(shè)源站所有的圖片，放在一個叫 img.example.com 子域里。
1、在七牛上建立一個鏡像bucket，設(shè)定源站為 img.example.com。假設(shè)鏡像 bucket是example-img，鏡像 bucket 對應(yīng)的域名為 example-img.qiniudn.com。
2、將所有對外使用的圖片的域名改為example-img.qiniudn.com。
3、如果網(wǎng)站數(shù)據(jù)是UGC（用戶產(chǎn)生內(nèi)容）的，調(diào)整上傳流程，傳到七牛的鏡像 bucket。這樣源站就變成只讀。
如此就完成整個遷移過程。此時 img.example.com 這個源站就可以廢棄不用了。
二、借助七牛提供的數(shù)據(jù)遷移工具qrsync公網(wǎng)間直傳
qrsync 是一個根據(jù)七牛API實現(xiàn)的簡易命令行輔助上傳同步工具，支持斷點續(xù)上傳，增量同步，它可將用戶本地的某目錄的文件同步到七牛，同步或上傳幾百GB甚至上TB的文件毫無壓力。
場景二：自有機房遷移到七牛但數(shù)據(jù)總量大
________________________________________＿＿＿＿＿＿＿＿＿＿＿＿＿
在場景二下，用戶可以將數(shù)據(jù)先備份到本地，然后寄送數(shù)據(jù)硬盤給七牛，由七牛通過內(nèi)網(wǎng)將數(shù)據(jù)同步到七牛云端；或者七牛寄送空數(shù)據(jù)硬盤，客戶備份數(shù)據(jù)后寄回七牛，并由七牛通過內(nèi)網(wǎng)上傳。這其中，由于數(shù)據(jù)量巨大，考慮因素需要更多，七牛也會專為該類客戶定制化數(shù)據(jù)遷移系統(tǒng)。
在寄硬盤的過程中，為了保持新數(shù)據(jù)也被存到七牛上面，以及試用七牛的服務(wù)，可以使用鏡像存儲。
場景三：從任意云服務(wù)遷移到七牛且數(shù)據(jù)少量
________________________________________＿＿＿＿＿＿＿＿＿＿＿＿＿
在場景三下，可以有兩種方案進行數(shù)據(jù)的遷移工作。
一、完全使用鏡像存儲，無縫將數(shù)據(jù)遷移到七牛的空間中，具體使用方式和場景一中鏡像存儲描述部分一致。
二、使用七牛數(shù)據(jù)遷移定制化工具，在七牛的技術(shù)支持的協(xié)助下，用工具將數(shù)據(jù)同步到七牛。
場景四：從任意云服務(wù)遷移到七牛但數(shù)據(jù)總量大
________________________________________＿＿＿＿＿＿＿＿＿＿＿＿＿
如果想從某一云服務(wù)切換到七牛，可以先從正在使用的云服務(wù)備份數(shù)據(jù)到本地，通過磁盤/服務(wù)器的遞送，直接上傳數(shù)據(jù)到七牛。
數(shù)據(jù)導(dǎo)入的同時依然可以使用鏡像存儲配合數(shù)據(jù)的遷移，具體步驟如下：
? 開啟鏡像存儲，并將用戶對源站資源的訪問切換到從七牛這里訪問，同時在源站保持使用prefetch 接口預(yù)取更新變化了的資源。
? 將資源的上傳動作從源站切換到七牛，這樣用戶對資源的修改動作會直接更新七牛中存儲的內(nèi)容，此時源站的資源數(shù)據(jù)已經(jīng)變成一個靜態(tài)的集合，因此可以撤銷第一步中對prefetch 接口的使用。
? 放心地將源站的靜態(tài)資源數(shù)據(jù)增量地導(dǎo)入七牛的存儲，存儲中已有的資源不再導(dǎo)入，只導(dǎo)入存儲中還不存在的資源（我們已有針對此類導(dǎo)入的成熟工具提供您直接使用）。
? 關(guān)閉源站(just kidding :P)
［數(shù)據(jù)遷移典型案例剖析］
七?？蛻裟澳暗臄?shù)據(jù)量非常大，如果采用常用的傳輸辦法，整個遷移過程要耗時半年，并且會嚴重影響線上的業(yè)務(wù)。為此，七牛為陌陌制定了個性化的數(shù)據(jù)遷移方案。
在遷移過程中可能遇到以下問題：
硬盤遷移過程中，網(wǎng)絡(luò)傳輸中的數(shù)據(jù)出錯。
傳輸過程中的速率問題。拿陌陌舉例，如果采用常用的傳輸辦法，整個遷移過程要耗時半年，并且會嚴重影響線上的業(yè)務(wù)。
硬盤寄送過程以及使用過程中的磁盤損壞。
存儲數(shù)據(jù)文件對數(shù)據(jù)庫的合并。如果按照傳統(tǒng)的數(shù)據(jù)庫寫入方式，需要若干天，會給客戶數(shù)據(jù)庫以及云服務(wù)的數(shù)據(jù)庫帶來不必要的巨大壓力。
針對這些問題，一個考慮全面的遷移系統(tǒng)就顯得尤為重要：
針對客戶的業(yè)務(wù)數(shù)據(jù)模型，定制數(shù)據(jù)格式，進行存儲數(shù)據(jù)的導(dǎo)入。
數(shù)據(jù)庫結(jié)構(gòu)需要有強擴展性，可以實現(xiàn)瞬時合并。
遷移系統(tǒng)充分考慮不可控因素，比如硬盤損壞，斷電等情況。
至此，七牛已經(jīng)成為陌陌非常好的合作伙伴，支撐了他們近兩億用戶的數(shù)據(jù)存儲，訪問加速與圖片處理。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/25147.html
摘要：甚至很可能就正有一個這樣的安卓項目包含了各種成員項目和編譯成的文件，這些文件還會包含在最終生成的應(yīng)用里。這些文件包含了一些很重要的內(nèi)容，比如所支持的安卓版本和項目依賴的東西，以及安卓項目中其它重要的數(shù)據(jù)。那么這就是你需要知道的一些基礎(chǔ)知識。 在這個指南里，包含了一些當你要把Eclipse項目轉(zhuǎn)到Andorid Studio前需要知道的基本信息。 對WorkSapces和Sub-Pro...
摘要：眾所周知，在大公司中進行大的改革很難。目前公司有超過名開發(fā)人員，其中有個以上是前端。從年起，已經(jīng)在一些小規(guī)模團隊中探索使用。在年的前端調(diào)查中，靜態(tài)類型系統(tǒng)呼聲最高。在我們的主倉庫中，絕大多數(shù)的公共依賴都已經(jīng)由做到了類型聲明。 特別說明 這是一個由simviso團隊進行的關(guān)于Airbnb大規(guī)模應(yīng)用TypeScript分享的翻譯文檔，分享者是Airbnb的高級前端開發(fā)Brie Bunge ...
摘要：盡管把基礎(chǔ)架構(gòu)遷移到云平臺上好處多多，但是如果考慮不細致反而會妨礙系統(tǒng)性能，把基礎(chǔ)架構(gòu)從物理遷移到虛擬才能帶來較好的資源利用率。在存儲方面，重要的是可擴展性。確保物理產(chǎn)品的環(huán)境已經(jīng)卸下，但不要完全退役。 盡管把基礎(chǔ)架構(gòu)遷移到云平臺上好處多多，但是如果考慮不細致反而會妨礙系統(tǒng)性能，把基礎(chǔ)架構(gòu)從物理遷移到虛擬才能帶來較好的資源利用率。我們需要把物理到虛擬，然后在遷移到云，即所謂的P2V2C(p...
摘要：于年獲得的職位，并發(fā)現(xiàn)了一個需要徹底改革的部門。此外，該報告還將云計算確定為了最需要專業(yè)開發(fā)的領(lǐng)域之一。為了能夠成功過渡到云，首席信息官們正在重新組建他們的IT團隊，使其變得敏捷、跨職能，并且擁有新的技能、角色和高度適應(yīng)性的思維方式。 Paul Ryan于2017年獲得OpenX的CTO職位，并發(fā)現(xiàn)了一個需要徹底改革的IT部門。 OpenX，一家制作程序化廣告平臺的技術(shù)公司，服務(wù)...
閱讀 2507·2021-11-24 10:29
閱讀 2649·2021-09-24 09:48
閱讀 5756·2021-09-22 15:56
閱讀 3167·2021-09-06 15:00
閱讀 2680·2019-08-30 15:54
閱讀 753·2019-08-30 13:48
閱讀 2928·2019-08-30 11:17
閱讀 3434·2019-08-29 11:20
