摘要：騰訊云在年底決定開發(fā)容器產(chǎn)品隨后組建容器技術(shù)團(tuán)隊(duì)并進(jìn)行技術(shù)選型通過(guò)對(duì)不同編排工具的分析對(duì)比最終選擇作為容器編排引擎并且迅速在年初推出容器解決方案為用戶提供托管的一站式服務(wù)。但是騰訊云最終選擇了現(xiàn)在看來(lái)這個(gè)選擇無(wú)比正確。

Kubernetes 很火,一大批互聯(lián)網(wǎng)公司早已領(lǐng)先一步,搭建起專有的 PaaS平臺(tái),傳統(tǒng)企業(yè)們看到的 Kubernetes的趨勢(shì),亦不甘落后,在試水的道上一路狂奔。

雖然,Kubernetes很火,并不代表可以“上手即用”,基于 Kubernetes的容器編排也不是簡(jiǎn)單的“拿來(lái)主義”。在容器圈,除了 Kubernetes,還存在著 Mesos、Swarm等分屬不同陣營(yíng)的容器集群管理工具,以及基于這些工具的多個(gè)容器云提供商。

騰訊云在 2016年底決定開發(fā)容器產(chǎn)品,隨后組建容器技術(shù)團(tuán)隊(duì)并進(jìn)行技術(shù)選型,通過(guò)對(duì)不同編排工具的分析對(duì)比,最終選擇 Kubernetes 作為容器編排引擎,并且迅速在 2017 年初推出容器解決方案 CCS,為用戶提供托管 Kubernetes 的一站式服務(wù)。

隨著業(yè)務(wù)量的增加,騰訊云容器團(tuán)隊(duì)基于 Kubernetes,不停的增加和完善容器監(jiān)控、日志處理、容器 Registry 等關(guān)鍵特性,來(lái)保障用戶業(yè)務(wù)的平穩(wěn)運(yùn)行。在整個(gè) 2017 年的運(yùn)營(yíng)過(guò)程中,管理了數(shù)千個(gè)集群、數(shù)十萬(wàn)容器,以及業(yè)務(wù)高峰期的成倍擴(kuò)容。

那么,在 16年底,Kubernetes并未大熱時(shí),騰訊云為何偏偏在諸多主流的編排引擎當(dāng)中選擇 Kubernetes?騰訊云 Kubernetes架構(gòu)和資源調(diào)度原理是什么樣的?在用戶托管服務(wù)中,又為何采用 Kubernetes來(lái)托管用戶 Kubernetes集群的 Master?作為國(guó)內(nèi)最大基于 Kubernetes的容器服務(wù)提供商,騰訊云在 Kubernetes上還有哪些應(yīng)用實(shí)踐…… 本文將帶著這些疑問(wèn),為你一一揭開騰訊云基于 Kubernetes的 PaaS平臺(tái)神秘面紗。

為何選用 Kubernetes?

容器技術(shù)無(wú)疑是近幾年最熱門的技術(shù)之一,很多公司或者行業(yè)已經(jīng)把容器作為自己的測(cè)試環(huán)境以及正式環(huán)境,正式上跑一些業(yè)務(wù)。騰訊緊隨外界技術(shù)發(fā)展的潮流,在三年之前,騰訊云的基礎(chǔ)平臺(tái)部門開始容器方面的技術(shù)實(shí)踐,經(jīng)過(guò)三年時(shí)間的積累,騰訊云目前已經(jīng)有很多業(yè)務(wù)跑在容器平臺(tái)上。

在最開始的容器產(chǎn)品技術(shù)選型階段,騰訊云也曾對(duì)比過(guò) Kubernetes、Docker Swarm、 Mesos:

Kubernetes的核心是如何解決自動(dòng)部署,擴(kuò)展和管理容器化(containerized)應(yīng)用程序。它支持資源調(diào)度、服務(wù)發(fā)現(xiàn)、服務(wù)編排、資源邏輯隔離、服務(wù)自愈、安全配置管理等。

Mesos是一個(gè)分布式內(nèi)核,核心理念是數(shù)據(jù)中心操作系統(tǒng)(DCOS),為了解決 IaaS層的網(wǎng)絡(luò)、計(jì)算和存儲(chǔ)問(wèn)題,所以 Mesos的核心是解決物理資源層的問(wèn)題。它同時(shí)支持 Marathon、 Kubernetes 和 Swarm 等多種框架,Mesosphere 也是 Kubernetes 生態(tài)的一員。

Swarm:從 Docker1.12版本開始,Swarm隨 Docker一起默認(rèn)安裝發(fā)布,也由于隨 Docker引擎一起發(fā)布,無(wú)需額外安裝,配置簡(jiǎn)單。它支持服務(wù)注冊(cè)、服務(wù)發(fā)現(xiàn),內(nèi)置 Overlay Network以及 Load Balancer。Swarm是與 Docker CLI非常類似的操作命令,對(duì)熟悉 Docker的人非常容易上手學(xué)習(xí)。

綜上來(lái)看,每一種工具都有自己的核心理念。

但是,騰訊云最終選擇了 Kubernetes, 現(xiàn)在看來(lái)這個(gè)選擇無(wú)比正確。 在技術(shù)選型上,除了編排引擎自身的核心特性,騰訊云也主要從以下幾個(gè)方面進(jìn)行了評(píng)估。

注:表格里的材料是當(dāng)初選型時(shí)調(diào)研的情況,上述編排工具現(xiàn)在的特性已經(jīng)有了新變化。

從整個(gè)行業(yè)來(lái)看,業(yè)界的技術(shù)架構(gòu)正在大規(guī)模向微服務(wù)遷移,容器技術(shù)天生就是部署微服務(wù)的最佳方式,騰訊云擁有海量的業(yè)務(wù)架構(gòu),而 Kubernetes 的使用讓部署大規(guī)模的微服務(wù)更加容易,這也是騰訊云選擇 Kubernetes的主要原因,另外騰訊云選擇 Kubernetes還考慮了其它優(yōu)勢(shì),如:

出身名門 Google,其開發(fā)和設(shè)計(jì)受到了 Google著名的 Borg系統(tǒng)的影響;

GitHub上關(guān)注 Kubernetes項(xiàng)目和提交代碼的開發(fā)者非常多,社區(qū)活躍,如果遇到問(wèn)題,通過(guò)社區(qū)咨詢和解決 問(wèn)題速度也會(huì)比較快。

Kubernetes可以很好的支持有狀態(tài)的服務(wù)。

Kubernetes 是近 3 年來(lái)社區(qū)熱度最高的項(xiàng)目,Linux 基金會(huì)也成立了 CNCF來(lái)加強(qiáng)社區(qū)運(yùn)作,不僅對(duì) Kubernetes 進(jìn)行管理,還對(duì)相關(guān)項(xiàng)目進(jìn)行有序的運(yùn)作,保證了整個(gè)技術(shù)棧穩(wěn)定和蓬勃的發(fā)展。Kubernetes技術(shù)相比Docker swarm和Mesos 學(xué)習(xí)難度更高,騰訊云為此提供了免費(fèi)容器實(shí)驗(yàn)室, 幫助開發(fā)者快速入門學(xué)習(xí)kubernetes,感性趣的讀者可以點(diǎn)擊【閱讀原文】了解詳情。

騰訊云目前有哪些容器解決方案?

騰訊云 PaaS平臺(tái)發(fā)展至今已有了豐富的容器解決方案, 包括但不限于:騰訊云 Kubernetes托管服務(wù)、單容器實(shí)例服務(wù)、TencentHub服務(wù)、Flow Engine服務(wù)、CCI持續(xù)集成服務(wù)等,以及基于 Kuberentes 的 TensorFlow 和 Spark 解決方案,幫助用戶在使用容器解決方案的同時(shí)進(jìn)行數(shù)據(jù)計(jì)算和模型訓(xùn)練。

騰訊云 Kubernetes服務(wù):基于原生 kubernetes 提供以容器為核心的、高度可擴(kuò)展的高性能容器管理服務(wù)。騰訊云容器服務(wù)完全兼容原生 kubernetes API ,擴(kuò)展了騰訊云的 CBS、CLB 等 kubernetes 插件,為容器化的應(yīng)用提供高效部署、資源調(diào)度、服務(wù)發(fā)現(xiàn)和動(dòng)態(tài)伸縮等一系列完整功能,解決用戶開發(fā)、測(cè)試及運(yùn)維過(guò)程的環(huán)境一致性問(wèn)題,提高大規(guī)模容器集群管理的便捷性,幫助用戶降低成本,提高效率。

單容器實(shí)例服務(wù):基于 Clear Linux 技術(shù)提供的單容器實(shí)例解決方案,通過(guò)單容器實(shí)例服務(wù)享受容器的便捷、虛擬機(jī)級(jí)別的隔離, 像使用虛擬機(jī)一樣如絲般順滑的來(lái)使用容器,非常試用于通過(guò)容器來(lái)進(jìn)行批量計(jì)算、通過(guò)容器來(lái)快速部署個(gè)人站點(diǎn)。不依賴 VM的容器在配置和使用時(shí)間上更靈活,提供了一種更低成本的計(jì)算資源。目前,但容器實(shí)例服務(wù)正在內(nèi)測(cè)階段。

TencentHub服務(wù):在云原生應(yīng)用盛行的今天,僅僅提供 Git 服務(wù)或 Container 鏡像存儲(chǔ)的 Hub 已經(jīng)無(wú)法滿足用戶在日常開發(fā)和運(yùn)維過(guò)程中的種種需求。構(gòu)造支持多種文件格式、容器鏡像格式、編排方案的云原生 Hub 能更好的降低用戶的架構(gòu)向云原生遷移。 TencentHub不僅僅提供一個(gè)私有鏡像的存儲(chǔ),同時(shí)提供了 Helm包、二進(jìn)制文件等文件存儲(chǔ)。

DevOps 產(chǎn)品:DevOps 任務(wù)容器化、資源及執(zhí)行全托管至 Kubernetes、提供給用戶一個(gè)全生命周期的 Workflow,完成容器構(gòu)建、測(cè)試和部署等 DevOps 流程,支持用戶通過(guò)界面拖拽定義 Workflow ,支持 Workflow 定義文件導(dǎo)入等功能,和騰訊云已有基礎(chǔ)服務(wù)和 DevOps 服務(wù)打通。核心引擎開源到容器社區(qū),組件庫(kù)作為配套功能同時(shí)開源。