資訊專欄INFORMATION COLUMN
摘要：但考慮到該用戶在跨集群模式下的困擾，開始策劃將托管云物理機納入現(xiàn)有集群統(tǒng)一管理的方案，即在混合云架構(gòu)下僅需部署管理一套集群。
“托管云物理機納入UK8S集群統(tǒng)一管理后，可實現(xiàn)托管云物理機保障平峰時業(yè)務(wù)正常運行，高峰時期利用UK8S快速擴容公有云資源的理想應(yīng)用場景，繼而提升混合云的可用性?！?/p>
——海豹他趣技術(shù)負責(zé)人 張嵩
混合云的業(yè)務(wù)模式廈門海豹他趣信息技術(shù)股份有限公司于2012年4月成立，是一家基于 B2C 模式的綜合性兩性健康電商服務(wù)平臺企業(yè)。目前采用混合云(公有云+托管云)的技術(shù)架構(gòu)模式，在保證存量IT資源合理利用的同時，又能夠與公有云產(chǎn)品內(nèi)網(wǎng)高速安全互通，實現(xiàn)資源的彈性擴展。
海豹他趣選擇將部分?jǐn)?shù)據(jù)敏感的業(yè)務(wù)部署在UCloud的托管云區(qū)域，通過租賃UCloud機房機柜的方式，托管自有設(shè)備，并依照自身電商業(yè)務(wù)特點進行高峰*冗余部署，但該模式下存在平峰時期物理機資源利用率低的現(xiàn)象。
業(yè)務(wù)容器化改造的過程中，海豹他趣已在公有云場景下實現(xiàn)UK8S的資源統(tǒng)一納管，故想進一步提高托管云的資源利用率，實現(xiàn)托管云物理機保障平峰時業(yè)務(wù)正常運行，高峰時期利用UK8S快速擴容公有云資源的應(yīng)用場景。
托管云中自建K8S集群的難題起初，海豹他趣嘗試在托管云中自建K8S集群，但運行后發(fā)現(xiàn)，同時在公有云和托管云中使用K8S集群，會存在網(wǎng)絡(luò)互通、存儲、負載均衡等方面的問題。與此同時，自行部署K8S集群需投入一支專業(yè)團隊的人力成本，包含開發(fā)以及部署K8S網(wǎng)絡(luò)、存儲和負載均衡等工作，需自行挑選和部署第三方網(wǎng)絡(luò)插件、搭建存儲集群并適配K8S存儲類型，以及維護一套負載均衡集群等。此外，集群搭建后的維護工作也費時費力。權(quán)衡之下，海豹他趣更希望將集群的管理和運維工作交給云廠商處理，從而自身精力能專注于業(yè)務(wù)研發(fā)之中。
托管云物理機納入UK8S集群UCloud已推出的UK8S能自動化實現(xiàn)公有云場景下的K8S集群部署以及運維工作，有效解決上述自行部署和維護K8S集群的難題。
同時，由于公有云和托管云分屬不同的環(huán)境，在網(wǎng)絡(luò)、服務(wù)器資源管理、控制等各方面完全獨立，彼此之間僅有三層網(wǎng)絡(luò)打通，要實現(xiàn)兩者場景下K8S集群的統(tǒng)一略為繁瑣。目前市面上各家云廠商針對混合云下的K8S集群部署，給出的解決方案多是在公有云和托管云下分別部署一套K8S集群，提供支持多集群管理的服務(wù)。
但考慮到該用戶在跨集群模式下的困擾，UCloud開始策劃將托管云物理機納入UK8S現(xiàn)有集群統(tǒng)一管理的方案，即在混合云架構(gòu)下僅需部署管理一套K8S集群。
解決三大技術(shù)問題前文也提及，部署K8S集群需解決網(wǎng)絡(luò)、存儲以及負載均衡方案，UCloud的UK8S團隊嘗試在三個問題上逐個擊破。
網(wǎng)絡(luò)實現(xiàn)
K8S本身并不提供網(wǎng)絡(luò)能力，而是將網(wǎng)絡(luò)接口開放，由外部插件來實現(xiàn)，其網(wǎng)絡(luò)模型需要滿足以下條件：
1、 Node與Node節(jié)點之間可通過IP直接通信；
2、 不同節(jié)點的Pod之間可通過IP直接通信；
3、Pod與非宿主Node節(jié)點之間可通過IP直接通信。
首先，針對Node節(jié)點之間的通信。UK8S運行在公有云的VPC網(wǎng)絡(luò)下，VPC網(wǎng)絡(luò)與托管云雖屬于不同的網(wǎng)段，但彼此間已實現(xiàn)三層互通，因此UK8S公有云中的Node節(jié)點與托管云中的物理機之間可通過IP直接通信，該條件滿足。
其次是Pod之間以及Pod與Node節(jié)點間的通信問題，可具體描述為（1）公有云中的Pod與托管云中的Pod互通，（2）公有云中的Pod與托管云中的Node互通，或（3）公有云中的Node與托管云中的Pod互通。
下圖是UK8S在公有云場景下的網(wǎng)絡(luò)模型，采用Underlay方案，Pod與Node網(wǎng)絡(luò)處于同一層面，CNI插件會調(diào)用UCloud API為每個Pod分配一個VPC IP。由于VPC IP已默認(rèn)與托管云中的物理機互通，即代表公有云中的Pod已實現(xiàn)與托管云中的Node互通，此外公有云中Pod與Node網(wǎng)絡(luò)同等，上述待解決問題可簡化為公有云中的Pod與托管云中的Pod互通。
圖:公有云下的網(wǎng)絡(luò)模型
為實現(xiàn)Pod之間的互通，托管云的網(wǎng)絡(luò)模型也同樣采用Underlay模式。如下圖所示，兩者場景下所有的Node節(jié)點均采用Underlay模式的CNI插件，公有云中的Node已默認(rèn)安裝CNI-VPC插件，托管云中的Node可采用二層Bridge或自定義路由的Underlay模式CNI插件。
圖:混合云下的網(wǎng)絡(luò)模型
以自定義路由為例，托管云的網(wǎng)段為172.16.0.0/16，安裝kubelet后，將Bridge插件拷貝至/opt/cni/bin下，再配置插件啟動參數(shù)即可。CNI插件會在Node上先創(chuàng)建一個網(wǎng)橋，當(dāng)Pod啟動時，通過veth pair連接該網(wǎng)橋到pause容器的網(wǎng)絡(luò)命名空間，即可實現(xiàn)托管云中的Pod互通。由于172.16.0.0/16已在網(wǎng)關(guān)上配置完成，最后在交換機側(cè)配置自定義路由，可最終完成公有云中的Pod與托管云中的Pod互通。
圖:交換機側(cè)配置信息
存儲實現(xiàn)
除去內(nèi)置的存儲插件，UK8S在公有云中額外集成UDisk、UFS兩種云儲存產(chǎn)品。目前UCloud托管云中物理機尚不支持掛載云存儲產(chǎn)品，因此UK8S中的存儲插件需實現(xiàn)兼容，只支持掛載至公有云中的Node節(jié)點上。
實現(xiàn)形式上，給公有云中的Node節(jié)點打上類似nodetype: uhost的標(biāo)簽即可。用戶使用時，若Pod需要掛載單寫模式的存儲卷，在調(diào)度Pod時聲明nodeAffinity，就可指定Pod分配至公有云中的Node節(jié)點。
負載均衡實現(xiàn)
最后需解決服務(wù)如何對外暴露的問題，K8S提供了幾種服務(wù)暴露的方案，其中LoadBalancer類型的Service最為通用，同時由于在托管云中維護一個可靠的負載均衡設(shè)備成本較高，故使用公有云中的ULB作為K8S的外部負載均衡器。
業(yè)務(wù)流量入口由公有云的ULB和Node節(jié)點承載，通過在K8S集群中定義LoadBalancer類型的Service，業(yè)務(wù)流量可先通過ULB轉(zhuǎn)發(fā)到公有云Node節(jié)點上，再通過公有云節(jié)點上kube-proxy配置的iptables規(guī)則轉(zhuǎn)發(fā)至整個集群中實際工作的Pod。對于ClusterIP類型的Service，與現(xiàn)有K8S集群無異，通過kube-proxy在集群內(nèi)部通信。
此外，也可在公有云節(jié)點部署Ingress Controller，代理部署在托管云節(jié)點的業(yè)務(wù)流量。
圖:流量轉(zhuǎn)發(fā)鏈路
采用該方案實現(xiàn)的效果1、提高托管云物理機的利用率
托管云物理機納入UK8S集群統(tǒng)一管理后，可實現(xiàn)托管云物理機保障平峰時業(yè)務(wù)正常運行，高峰時期利用UK8S快速擴容公有云資源的應(yīng)用場景，無需原先的高峰*冗余部署，有效解決平峰時期資源利用率低的問題，從而節(jié)約資源成本。
2、減少公有云主機資源的冗余
實際業(yè)務(wù)中，遇到大型活動或突增的服務(wù)請求時, 采用云主機自動服務(wù)擴容的方式處理速度較慢，通常需要五分鐘左右的時間，而利用UK8S可以賺取云主機啟動與容器啟動速度的時差，做到資源的快速擴容，繼而減少云主機日常冗余的數(shù)量。
3、無需K8S部署和維護的人力投入
用戶可在UK8S上部署、管理以及擴展容器化應(yīng)用，而無需關(guān)心K8S集群自身的搭建及維護等運維類工作，能夠更加集中于業(yè)務(wù)實現(xiàn)。
4、加快服務(wù)上線速度
一方面，UK8S中通過統(tǒng)一的鏡像，可保證代碼及部分配置在測試環(huán)境、預(yù)發(fā)布環(huán)境、正式環(huán)境中的一致性, 避免環(huán)境不一致引發(fā)的異常狀況；另一方面，UK8S有其完善的CI/CD流程，可簡化服務(wù)部署步驟, 有效減少服務(wù)上線時的人工干預(yù)，實現(xiàn)效率的全面提升。
寫在最后隨著K8S使用的逐步增多，運行部署K8S的環(huán)境也日趨復(fù)雜，對于企業(yè)IT人員而言，找到一種兼容現(xiàn)有業(yè)務(wù)環(huán)境的K8S配置、管理方式顯得尤為重要，特別是在多云、IDC與云并存等環(huán)境下如何配置K8S。上述提供的針對UCloud混合云場景下的K8S部署方案，其思路同樣適用于非UCloud混合云環(huán)境。
歡迎加入UCloud K8S技術(shù)交流群，和我們共同探討Kubernetes前沿技術(shù)。（由于群人數(shù)已超過100人，請?zhí)砑尤褐魑⑿舲haoqi628543，備注K8S即可邀請入群。）
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/33780.html
摘要：本文分享了擴展以及管理混合云環(huán)境時可能遇到的挑戰(zhàn)，以及如何簡單高效地完成擴展?？缭茢U展的挑戰(zhàn)你已經(jīng)決定使用云了，所以讓我們回過頭來思考一下最初的問題。節(jié)點組件是中的。在向上或向下擴展或調(diào)整集群大小時，為部署命中公有，響應(yīng)狀態(tài)代碼始終為。 流量突增時，我們需要擴展應(yīng)用程序以滿足用戶需求。本文分享了擴展Kubernetes以及管理混合云環(huán)境時可能遇到的挑戰(zhàn)，以及如何簡單高效地完成Kuber...
摘要：俗語有一招鮮，吃遍天。其中，的企業(yè)正在實施多云戰(zhàn)略，的企業(yè)采用混合云戰(zhàn)略，將公有云和私有云集成在一起。隨著混合云的五個一體化由戴爾易安信在戴爾科技峰會上對外發(fā)布，其混合云的新利器也正式登臺亮相了。俗語有一招鮮，吃遍天。說的是行走江湖須得有一技之長，方能到處謀生，不會餓了肚子。時過境遷，這句話放在今天依然有效。隨著IT環(huán)境正向混合云以及多云邁進，這一過程有沒有一招鮮的方法呢？讓客戶省時省力又省...
摘要：這對于所有的希望嘗試云的企業(yè)來說是個好消息，因為他們還沒準(zhǔn)備為云環(huán)境重寫所有應(yīng)用，但又希望在投身云計算時有為云優(yōu)化的全新的應(yīng)用。 今天，一位最具重量級的新成員簽約加入OpenStack基金會，這就是——Google！雙方的合作承將在例如Murano應(yīng)用目錄、Magnum容器流程管理服務(wù)等一系列開源項目持續(xù)貢獻工程資源。這使得OpenStack在同一個Dashboard中管理虛擬的、非虛擬的、...
摘要：近日，網(wǎng)易云輕舟微服務(wù)團隊接受了的采訪，分享了網(wǎng)易云在云原生領(lǐng)域尤其是方面的實踐經(jīng)驗。影響根據(jù)網(wǎng)易云團隊的數(shù)據(jù)，使研發(fā)效率提高了以上，部署效率提高了。無論是否使用網(wǎng)易云產(chǎn)品，網(wǎng)易云都鼓勵其他公司嘗試。 近日，網(wǎng)易云輕舟微服務(wù)團隊接受了CNCF的采訪，分享了網(wǎng)易云在云原生領(lǐng)域尤其是Kubernetes方面的實踐經(jīng)驗。以下為案例全文：showImg(https://segmentfault...
摘要：最后，張曉龍透露未來網(wǎng)易云會在以下三個方面繼續(xù)深耕研發(fā)高性能容器，跟進開源社區(qū)最新版本并適配，加大參與社區(qū)力度并反饋社區(qū)。文章來源網(wǎng)易云社區(qū) 歡迎訪問網(wǎng)易云社區(qū)，了解更多網(wǎng)易技術(shù)產(chǎn)品運營經(jīng)驗。 10 月 15 日，聚焦 Kubernetes 中國行業(yè)應(yīng)用與技術(shù)落地的首屆中國 Kubernetes 用戶大會（KEUC）在杭州成功舉辦。本次大會吸引了來自全球各地的技術(shù)精英齊聚一堂，共同探...
閱讀 3285·2023-04-25 20:35
閱讀 3632·2019-08-30 15:54
閱讀 2017·2019-08-30 15:43
閱讀 2200·2019-08-29 15:14
閱讀 1906·2019-08-29 11:17
閱讀 3400·2019-08-26 13:36
閱讀 722·2019-08-26 10:15
閱讀 2861·2019-08-23 15:41
