摘要：智能調(diào)度系統(tǒng)實(shí)時(shí)監(jiān)測集群所有計(jì)算節(jié)點(diǎn)計(jì)算存儲(chǔ)網(wǎng)絡(luò)等負(fù)載信息，作為虛擬機(jī)調(diào)度和管理的數(shù)據(jù)依據(jù)。當(dāng)有新的虛擬資源需要部署時(shí)，調(diào)度系統(tǒng)會(huì)優(yōu)先選擇低負(fù)荷節(jié)點(diǎn)進(jìn)行部署，確保整個(gè)集群節(jié)點(diǎn)的負(fù)載。

智能調(diào)度是 UCloudStack 平臺(tái)虛擬機(jī)資源調(diào)度管理的核心，由調(diào)度模塊負(fù)責(zé)調(diào)度任務(wù)的控制和管理，用于決策虛擬機(jī)運(yùn)行在哪一臺(tái)物理服務(wù)器上，同時(shí)管理虛擬機(jī)狀態(tài)及遷移計(jì)劃，保證虛擬機(jī)可用性和可靠性。

智能調(diào)度系統(tǒng)實(shí)時(shí)監(jiān)測集群所有計(jì)算節(jié)點(diǎn)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等負(fù)載信息，作為虛擬機(jī)調(diào)度和管理的數(shù)據(jù)依據(jù)。當(dāng)有新的虛擬資源需要部署時(shí)，調(diào)度系統(tǒng)會(huì)優(yōu)先選擇低負(fù)荷節(jié)點(diǎn)進(jìn)行部署，確保整個(gè)集群節(jié)點(diǎn)的負(fù)載。如下圖所示，新創(chuàng)建的虛擬資源將會(huì)通過調(diào)度檢測，自動(dòng)部署至負(fù)載較低的 Node3 節(jié)點(diǎn)上。

調(diào)度系統(tǒng)在優(yōu)先選擇低負(fù)荷節(jié)點(diǎn)進(jìn)行虛擬資源部署的同時(shí)，分別提供打散部署、在線遷移、宕機(jī)遷移等能力，整體保證云平臺(tái)的可靠性。UCloudStack 云平臺(tái)使用分布式存儲(chǔ)提供存儲(chǔ)服務(wù)，如上圖所示，虛擬機(jī)均運(yùn)行于分布式存儲(chǔ)池之上，且分布式存儲(chǔ)池可跨多臺(tái)物理機(jī)構(gòu)建統(tǒng)一分布式存儲(chǔ)資源池。虛擬機(jī)的系統(tǒng)盤、鏡像文件及掛載的硬盤均存儲(chǔ)于統(tǒng)一分布式存儲(chǔ)池中，每臺(tái)計(jì)算節(jié)點(diǎn)均可通過分布式存儲(chǔ)池中的虛擬機(jī)的系統(tǒng)盤文件及配置信息注冊一個(gè)相同的虛擬機(jī)進(jìn)程，可作用于在線遷移或宕機(jī)遷移任務(wù)。

3.2.1 在線遷移

在線遷移（虛擬機(jī)熱遷移）是計(jì)劃內(nèi)的遷移操作，即虛擬機(jī)不停機(jī)的情況下，在不同的物理機(jī)之間進(jìn)行在線跨機(jī)遷移。首先是在目標(biāo)物理機(jī)注冊一個(gè)相同配置的虛擬機(jī)進(jìn)程，然后進(jìn)行虛擬機(jī)內(nèi)存數(shù)據(jù)同步，最終快速切換業(yè)務(wù)到目標(biāo)新虛擬機(jī)。整個(gè)遷移切換過程非常短暫，幾乎不影響或中斷用戶運(yùn)行在虛擬機(jī)中的業(yè)務(wù)，適用于云平臺(tái)資源動(dòng)態(tài)調(diào)整、物理機(jī)停機(jī)維護(hù)、優(yōu)化服務(wù)器能源消耗等場景，進(jìn)一步增強(qiáng)云平臺(tái)可靠性。

由于采用分布式統(tǒng)一存儲(chǔ)，虛擬機(jī)在線遷移時(shí)只遷移 【計(jì)算】 的運(yùn)行位置，不涉及 【存儲(chǔ)】（系統(tǒng)盤、鏡像、云硬盤）位置遷移。遷移時(shí)僅需通過統(tǒng)一存儲(chǔ)內(nèi)的源虛擬機(jī)配置文件在目的主機(jī)上注冊一個(gè)相同配置且狀態(tài)置為暫停的虛擬機(jī)進(jìn)程，然后反復(fù)遷移源虛擬機(jī)的內(nèi)存至目的虛擬機(jī)，待虛擬機(jī)內(nèi)存同步一致后，關(guān)閉源虛擬機(jī)并激活目標(biāo)虛擬機(jī)進(jìn)程，最后進(jìn)行網(wǎng)絡(luò)切換并成功接管源虛擬機(jī)業(yè)務(wù)。

整個(gè)遷移任務(wù)僅在激活目標(biāo)虛擬機(jī)及網(wǎng)絡(luò)切換時(shí)業(yè)務(wù)處于短暫中斷，由于激活和切換所用時(shí)間很短，少于 TCP 超時(shí)重傳時(shí)間，因此源虛擬機(jī)業(yè)務(wù)幾乎無感知。同時(shí)由于無需遷移虛擬機(jī)磁盤及鏡像位置，虛機(jī)掛載的云盤遷移后不受影響，可為用戶提供無感知且攜帶存儲(chǔ)數(shù)據(jù)的遷移服務(wù)。具體遷移過程如下：

1. 注冊目標(biāo)虛擬機(jī)調(diào)度系統(tǒng)使用統(tǒng)一分布式存儲(chǔ)內(nèi)的源虛擬機(jī)配置文件在目標(biāo)主機(jī)上注冊一個(gè)相同配置的虛擬機(jī)進(jìn)程；注冊的虛擬機(jī)進(jìn)程為不可提供服務(wù)的暫?！緋aused】狀態(tài)，并通過監(jiān)聽一個(gè) TCP 端口接收遷移數(shù)據(jù)；注冊目標(biāo)虛擬機(jī)的階段為瞬間完成，通常耗時(shí)為幾毫秒，此時(shí)源虛擬機(jī)處于正常提供業(yè)務(wù)的狀態(tài)。
2. 遷移源虛擬機(jī)內(nèi)存在目標(biāo)虛擬機(jī)注冊完成的同時(shí)，調(diào)度系統(tǒng)會(huì)立即將源虛擬機(jī)的全量內(nèi)存數(shù)據(jù)遷移至目標(biāo)虛擬機(jī)；為保證數(shù)據(jù)遷移的一致性，遷移過程中源虛擬機(jī)的內(nèi)存更新也需要進(jìn)行同步，因此調(diào)度系統(tǒng)通過多次迭代將源虛擬機(jī)產(chǎn)生的新內(nèi)存數(shù)據(jù)遷移至目標(biāo)端，耗時(shí)與物理機(jī)的網(wǎng)絡(luò)帶寬、性能及虛擬機(jī)的內(nèi)存大小有關(guān)；內(nèi)存遷移時(shí)源虛擬機(jī)正常提供業(yè)務(wù)，待內(nèi)存數(shù)據(jù)反復(fù)迭代遷移完成時(shí)立即暫停源虛擬機(jī)進(jìn)程，避免產(chǎn)生新的內(nèi)存數(shù)據(jù)；源虛擬機(jī)進(jìn)程暫停后，會(huì)再進(jìn)行一次內(nèi)存數(shù)據(jù)的同步，保證源端和目標(biāo)端的數(shù)據(jù)一致性。
3. 接管源虛擬機(jī)服務(wù)完成內(nèi)存同步的收尾工作，調(diào)度系統(tǒng)會(huì)關(guān)閉源虛擬機(jī)并激活目標(biāo)虛擬機(jī)的進(jìn)程，實(shí)現(xiàn)虛擬機(jī)平滑運(yùn)行；虛擬機(jī)從源主機(jī)遷移至目標(biāo)主機(jī)，系統(tǒng)會(huì)將虛擬機(jī)的網(wǎng)絡(luò)切換至目標(biāo)主機(jī)（下發(fā)流表），通過目標(biāo)主機(jī)的 vSwitch 進(jìn)行通信，成功接管源虛擬機(jī)服務(wù)。若虛擬機(jī)有綁定的外網(wǎng) IP ，外網(wǎng) IP 地址在網(wǎng)絡(luò)切換時(shí)會(huì)自動(dòng)漂移至目標(biāo)主機(jī)，并通過 OVS 中的流表進(jìn)行通信。

整個(gè)遷移過程中，從源虛擬機(jī)暫停至目標(biāo)虛擬機(jī)激活并完成網(wǎng)絡(luò)切換為停機(jī)時(shí)間，由于激活虛擬機(jī)及網(wǎng)絡(luò)切換時(shí)間非常短暫，通常小于幾百毫秒，少于 TCP 超時(shí)重傳時(shí)間，對大多數(shù)應(yīng)用服務(wù)來說可忽略不計(jì)，因此虛擬機(jī)業(yè)務(wù)幾乎不會(huì)感知到遷移停機(jī)。如智能調(diào)度圖中的 VM6 默認(rèn)運(yùn)行在 Node1 上，管理員通過在線遷移功能手動(dòng)將 VM6 遷移至 Node3 的流程如下：

• 調(diào)度系統(tǒng)收到遷移指令后，會(huì)立即使用 VM6 的配置文件在 Node3 節(jié)點(diǎn)上注冊一個(gè)暫停狀態(tài)的虛擬機(jī)進(jìn)程；
• 立即遷移 VM6 的全量進(jìn)程數(shù)據(jù)至 Node3 節(jié)點(diǎn)的 VM6，并反復(fù)多次遷移更新內(nèi)存數(shù)據(jù)；
• 調(diào)度系統(tǒng)暫停 Node1 上的 VM6 虛擬機(jī)，再次進(jìn)行內(nèi)存數(shù)據(jù)的遷移并關(guān)閉 VM6 虛擬機(jī)；
• 激活 Node3 節(jié)點(diǎn)上的 VM6 虛擬機(jī)進(jìn)程，完成網(wǎng)絡(luò)切換并接管 VM6 的業(yè)務(wù)服務(wù)及通信；
• 若 VM6 有掛載的云硬盤，遷移成功后，不影響已云硬盤的掛載信息及配置，可正常讀寫云硬盤。

3.2.2 宕機(jī)遷移

宕機(jī)遷移又稱離線遷移（Offline Migration）或虛擬機(jī)高可用（ High Availability），指平臺(tái)底層物理機(jī)出現(xiàn)異?；蚬收隙鴮?dǎo)致宕機(jī)時(shí)，調(diào)度系統(tǒng)會(huì)自動(dòng)將其所承載的虛擬資源快速遷移到健康且負(fù)載正常的物理機(jī)，盡量保證業(yè)務(wù)的可用性。整體宕機(jī)遷移不涉及存儲(chǔ)及數(shù)據(jù)遷移，新虛擬機(jī)可快速在新物理機(jī)上運(yùn)行，平均遷移時(shí)間為 90 秒左右，可能會(huì)影響或中斷運(yùn)行在虛擬機(jī)中的業(yè)務(wù)。

由于采用分布式統(tǒng)一存儲(chǔ)，虛擬機(jī)的系統(tǒng)盤及寫進(jìn)系統(tǒng)盤的數(shù)據(jù)均存儲(chǔ)在底層分布式存儲(chǔ)中，虛擬機(jī)宕機(jī)遷移只遷移 【計(jì)算】 的運(yùn)行位置，不涉及 【存儲(chǔ)】（系統(tǒng)盤、鏡像、云硬盤）位置遷移，僅需在新物理機(jī)上重新啟動(dòng)虛擬機(jī)并保證網(wǎng)絡(luò)通信即可。遷移機(jī)制說明如下：

• UCloudStack 調(diào)度管理系統(tǒng)會(huì)周期性檢測除本物理機(jī)之外的所有物理機(jī)，間隔時(shí)間為 10秒；
• 當(dāng)檢測到某物理機(jī)出現(xiàn)網(wǎng)絡(luò)中斷，則會(huì)重試 3次；
• 如果重試 3 次之后都不成功，就會(huì)將此物理機(jī)標(biāo)記為不可達(dá)；
• 在所有物理機(jī)中，有超過半數(shù)的物理機(jī)都標(biāo)記某臺(tái)物理機(jī)為不可達(dá)，就會(huì)判定此物理機(jī)為宕機(jī)，那么此物理機(jī)所有的虛擬機(jī)會(huì)在該集群（Set）內(nèi)進(jìn)行宕機(jī)遷移操作；
• 調(diào)度系統(tǒng)使用分布式存儲(chǔ)內(nèi)故障虛擬機(jī)的系統(tǒng)盤及數(shù)據(jù)重新在新物理機(jī)上啟動(dòng)虛擬機(jī)，啟動(dòng)過程及狀態(tài)流轉(zhuǎn)與新建虛擬機(jī)一致，平均啟動(dòng)時(shí)間為 30 秒左右；
• 虛擬機(jī)在新物理機(jī)上啟動(dòng)后，會(huì)將虛擬機(jī)網(wǎng)絡(luò)切換至新物理機(jī)，通過 OVS 中下發(fā)的流表進(jìn)行通信；
• 若虛擬機(jī)有綁定的外網(wǎng) IP ，外網(wǎng) IP 地址遷移后自動(dòng)漂移至目標(biāo)主機(jī)，并通過 OVS 中的流表進(jìn)行通信。

整個(gè)遷移過程，從檢測到故障至遷移成功平均為 90 秒左右。虛擬機(jī)啟動(dòng)時(shí)間與源虛擬機(jī)的組件及配置有關(guān)，如綁定云硬盤、外網(wǎng) IP 、彈性網(wǎng)卡及操作系統(tǒng)等；同時(shí)由于虛擬機(jī)規(guī)格過大、底層物理資源不足、底層硬件故障等原因可能會(huì)導(dǎo)致宕機(jī)遷移失敗，通常建議盡量保證底層物理資源充足。

如智能調(diào)度圖中的 Node2 節(jié)點(diǎn)故障，智能調(diào)度系統(tǒng)自動(dòng)將 VM3 和 VM4 分別遷移至 Node1 和 Node3 節(jié)點(diǎn)，具體流程如下：

• 調(diào)度系統(tǒng)經(jīng)過周期性監(jiān)測及二層檢測，判斷 Node2 節(jié)點(diǎn)故障，VM3/VM4 兩臺(tái)虛擬機(jī)不可用，需要進(jìn)行宕機(jī)遷移操作；
• 調(diào)度系統(tǒng)根據(jù)收集的集群節(jié)點(diǎn)信息，使用分布式存儲(chǔ)系統(tǒng)中 VM3 的系統(tǒng)盤及數(shù)據(jù)在 Node1 節(jié)點(diǎn)啟動(dòng) VM3 虛擬機(jī)，并在啟動(dòng)后重新下發(fā)流表將 VM3 的網(wǎng)絡(luò)信息切換至 Node1 ；
• 使用分布式存儲(chǔ)系統(tǒng)中 VM4 的系統(tǒng)盤及數(shù)據(jù)盤在 Node3 節(jié)點(diǎn)啟動(dòng) VM4 虛擬機(jī)，并在啟動(dòng)后重新下發(fā)流表將 VM4 的網(wǎng)絡(luò)信息切換至 Node3 ；
• 若 VM3 或 VM4 已綁定外網(wǎng) IP ，虛擬機(jī)啟動(dòng)后外網(wǎng) IP 地址會(huì)分別漂移至 Node1 和 Node3 節(jié)點(diǎn)，并通過 OVS 中的流表進(jìn)行通信。

宕機(jī)遷移的前提是集群中至少有 2 臺(tái)以上的物理服務(wù)器，且在遷移過程中需保證健康節(jié)點(diǎn)的資源充足及網(wǎng)絡(luò)連通性。通過宕機(jī)遷移技術(shù)，為業(yè)務(wù)系統(tǒng)提供高可用性，極大縮短由于各種主機(jī)物理故障或鏈路故障引起的中斷時(shí)間。