摘要：容器云將支持應用的一鍵式部署交付，提供負載均衡，私有域名綁定，性能監(jiān)控等應用生命周期管理服務。本容器云平臺，對接持續(xù)集成發(fā)布系統(tǒng)。

在移動互聯(lián)網(wǎng)時代，新的技術(shù)需要新技術(shù)支持環(huán)境、新的軟件交付流程和IT架構(gòu)，從而實現(xiàn)架構(gòu)平臺化，交付持續(xù)化，業(yè)務服務化。容器將成為新一代應用的標準交付件，容器云將幫助企業(yè)用戶構(gòu)建研發(fā)流程和云平臺基礎(chǔ)設(shè)施?？s短應用向云端交付的周期，降低運營門檻。加速向互聯(lián)網(wǎng)技術(shù)和業(yè)務的雙轉(zhuǎn)型。容器云將對接各類代碼托管庫，實現(xiàn)自動化持續(xù)集成和DOCKER鏡像構(gòu)建，為新一代應用交付和開發(fā)運維一體化奠定了基礎(chǔ)。容器云將支持應用的一鍵式部署交付，提供負載均衡，私有域名綁定，性能監(jiān)控等應用生命周期管理服務。是微服務架構(gòu)，輕量級應用部署和運維的理想平臺。未來IT界會以容器化應用作為交付的標準。容器云為開發(fā)者和企業(yè)提供了一個快速構(gòu)建、集成、部署、運行容器化應用的平臺，從而提高應用開發(fā)的迭代效率，簡化運維環(huán)節(jié)，降低運維成本。
對于企業(yè)來說，容器云價值體現(xiàn)在：

作為內(nèi)部技術(shù)紐帶，多應用統(tǒng)一部署平臺，提高開發(fā)效率，減少運維成本。

平臺產(chǎn)品化過程中，投入少且產(chǎn)出價值高?？梢劳鞋F(xiàn)有的IaaS平臺資源，相對于傳統(tǒng)的承接項目獲益的方式，容器云會積累寶貴的客戶資源及數(shù)據(jù)資源，這些無形資產(chǎn)最終會為公司贏得巨大戰(zhàn)略價值。

增加云企業(yè)辨識度，如果只具有IaaS層服務的云平臺是不完整的，對用戶的云服務是不充分的，應該具有為用戶提供全方位的云服務體系，應該具有先進且高附加值的云平臺。

基于Kubernetes實現(xiàn)的容器云平臺，就功用而言可以分為四大部分：

自動化容器的部署、升級和復制；

隨時擴展或收縮容器規(guī)模，實現(xiàn)容器的彈性擴展；

以集群的方式運行、管理跨機器的容器，并且提供容器間的負載均衡；

Kubernetes的自我修復機制使得容器集群總是運行在用戶期望的狀態(tài)。

未來容器云也可能會成為云管理平臺的統(tǒng)治者，也還會有更多的應用在容器云上原生運行起來。因為對于容器云，它可以把很多分散的物理計算資源抽象成一個大的資源池，利用這些資源來執(zhí)行用戶的計算任務。對于用戶來說，操作一個分散的集群資源就像在使用一臺計算機。人工智能的集中式爆發(fā)，機器學習的訓練過程對于快速迭代的高要求，讓能夠輕量級接入，并且可以對用戶提供秒級響應的容器云發(fā)揮了巨大的優(yōu)勢。師出同門的Google Tensorflow項目很早也進行了與Kubernetes的集成，人工智能平臺上實現(xiàn)了Spark on Kubernetes和 Hadoop on Kubernetes。無論是容器技術(shù)，還是DevOps和微服務，都說明靈活、彈性、輕量化的IT應用模式逐漸形成。而這種模式的形成對于復雜產(chǎn)品的快速開發(fā)有著積極意義，谷歌等IT巨頭對產(chǎn)業(yè)的貢獻，讓初創(chuàng)企業(yè)與大型IT企業(yè)之間的差距縮短，迎來最好的IT時代。容器云架構(gòu)方案，具有六大功能模塊，每個部分包含對應的容器技術(shù)棧。具體架構(gòu)如下

后端存儲主要采用 Ceph 驅(qū)動。Ceph 獨一無二地用統(tǒng)一的系統(tǒng)提供了對象、塊、和文件存儲功能，它可靠性高、管理簡便、并且是自由軟件。 Ceph 的強大足以改變貴公司的 IT 基礎(chǔ)架構(gòu)、和管理海量數(shù)據(jù)。 Ceph 可提供極大的伸縮性——供成千用戶訪問 PB 乃至 EB 級的數(shù)據(jù)。 Ceph 節(jié)點以普通硬件和智能守護進程作為支撐點， Ceph 存儲集群組織起了大量節(jié)點，它們之間靠相互通訊來復制數(shù)據(jù)、并動態(tài)地重分布數(shù)據(jù)。Ceph在容器云中主要應用場景是有狀態(tài)服務。包括關(guān)系型數(shù)據(jù)庫和nosql數(shù)據(jù)庫等數(shù)據(jù)需要持久化的業(yè)務。

底層容器網(wǎng)絡我們最初使用的是Calico。 Calico基本架構(gòu)圖 Calico是一個純?nèi)龑泳W(wǎng)絡，沒有引入一個DP，沒有封包。在主機內(nèi)部做另外一個容器，可以三條到達終端，你可以知道是誰出了問題，調(diào)試的時候很容易，很好管理。容器內(nèi)的應用數(shù)據(jù)傳出來，和二層完全隔離，對于我們絕大多數(shù)的應用來講只需要三層就夠了，很少有應用處理二層。而且Calico支持豐富的網(wǎng)絡策略，可以實現(xiàn)多租戶管理，對于未來對外提供容器云服務至關(guān)重要。

Kubernetes是谷歌開源的容器集群管理系統(tǒng)，是Google多年大規(guī)模容器管理技術(shù)Borg的開源版本，主要功能包括：

1.基于容器的應用部署、維護和滾動升級

2.負載均衡和服務發(fā)現(xiàn)

3.跨機器和跨地區(qū)的集群調(diào)度

4.自動伸縮

5.無狀態(tài)服務和有狀態(tài)服務

6.廣泛的Volume支持

7.插件機制保證擴展性

Kubernetes發(fā)展非常迅速，已經(jīng)成為容器編排領(lǐng)域的領(lǐng)導者。Kubernetes提供了很多的功能，它可以簡化應用程序的工作流，加快開發(fā)速度。通常，一個成功的應用編排系統(tǒng)需要有較強的自動化能力，這也是為什么 Kubernetes 被設(shè)計作為構(gòu)建組件和工具的生態(tài)系統(tǒng)平臺，以便更輕松地部署、擴展和管理應用程序。用戶可以使用Label以自己的方式組織管理資源，還可以使用Annotation來自定義資源的描述信息，比如為管理工具提供狀態(tài)檢查等。此外，Kubernetes控制器也是構(gòu)建在跟開發(fā)人員和用戶使用的相同的API之上。用戶還可以編寫自己的控制器和調(diào)度器，也可以通過各種插件機制擴展系統(tǒng)的功能。這種設(shè)計使得可以方便地在Kubernetes之上構(gòu)建各種應用系統(tǒng)。目前整個kubernetes集群采用高可用部署，架構(gòu)如下圖：

容器監(jiān)控的對象主要包括 Kubernetes 集群（各組件）、應用服務、Pod、容器及網(wǎng)絡等。這些對象主要表現(xiàn)為以下三個方面： 1.Kubernetes 集群自身健康狀態(tài)監(jiān)控（5個基礎(chǔ)組件、Docker、Etcd、Calico等） 2.系統(tǒng)性能的監(jiān)控，比如：CPU、內(nèi)存、磁盤、網(wǎng)絡、filesystem 及 processes 等； 3.業(yè)務資源狀態(tài)監(jiān)控，主要包括：rc/rs/deployment、Pod、Service 等； 針對容器的整體運行狀況及性能狀況監(jiān)控，采用了自研的監(jiān)控系統(tǒng)實現(xiàn)整體IT資源的統(tǒng)一監(jiān)控。

容器平臺的日志系統(tǒng)一般包括：Kubernetes 組件的日志，資源的事件日志及容器所運行的應用的日志。本容器云平臺，使用fluentd（以DaemonSet的方式啟動）來收集日志，并將收集的日志發(fā)送給統(tǒng)一日志平臺。

CI/CD（持續(xù)集成與部署）模塊肩負著 DevOps 的重任，是開發(fā)與運維人員的橋梁，它實現(xiàn)了業(yè)務（應用）從代碼到服務的自動上線，滿足了開發(fā)過程中一鍵的持續(xù)集成與部署的需求。本容器云平臺，對接持續(xù)集成&發(fā)布系統(tǒng)。除此之外，實現(xiàn)服務擴縮容，彈性伸縮（HPA）、負載均衡、灰度發(fā)布等，也加入了代碼質(zhì)量檢查（Sonar）、自動化測試及性能測試插件等，這些都是 CI/CD PaaS 平臺的重要組成部分。

通過可視化界面，可以簡單方便的實現(xiàn)對資源的部署、管理與監(jiān)控，包括：資源編排?？梢詫崿F(xiàn)以下功能: 1.全面監(jiān)控:主機、路由器、硬盤、公網(wǎng)IP、負載均衡器都具備完整全面的歷史監(jiān)控和實時監(jiān)控信息。 2.開放式的圖形化操作: 直觀展示主機及其相關(guān)資源，并可以直接操作圖形，所有改動自動更新。 3.操作日志記錄: 記錄下用戶所有重要操作歷史，方便定位和查找。 4.網(wǎng)絡拓撲結(jié)構(gòu)展示: 用圖形展示復雜的網(wǎng)絡拓撲結(jié)構(gòu)，連接私有網(wǎng)絡和主機更加方便直觀。 5.備份鏈可視化操作: 對于備份各節(jié)點一目了然，同時可直接操作新建備份及回滾到之前的狀態(tài)。 6.自動伸縮策略: 根據(jù)資源監(jiān)控信息定義自動伸縮策略，調(diào)節(jié)資源配置或集群規(guī)模，無需人工介入。 7.通知列表: 用于接收監(jiān)控告警通知、定時器任務或自動伸縮策略的執(zhí)行結(jié)果。 8.快速的系統(tǒng)構(gòu)建: 使用資源編排，可以在短短幾分鐘內(nèi)迅速復制一套已存在的擁有復雜拓撲的系統(tǒng)；或者迅速規(guī)劃您的系統(tǒng)架構(gòu)并評估成本；還可以實現(xiàn)資源拓撲的跨區(qū)域復用。 9.豐富的模板創(chuàng)建方式: 在控制臺中，用戶可以從無到有構(gòu)建模板；也可以從系統(tǒng)推薦的常見模板入手創(chuàng)建，或基于已經(jīng)創(chuàng)建的模板繼續(xù)完善；還可以將已經(jīng)存在的資源抽取出一套拓撲關(guān)系成為模板。

caas平臺衍生出來的整個devops體系是至關(guān)重要的。最終實現(xiàn)打通日志，監(jiān)控和apm數(shù)據(jù)，算法實現(xiàn)根因分析，也就是AIOPS。能夠快速定位故障?？焖俜答伒竭\維和開發(fā)，形成一個閉環(huán)。
Gartner定義的AIOps平臺擁有11項能力，包括歷史數(shù)據(jù)管理( Historical data management) 、流數(shù)據(jù)管理( Streaming data management )、日志數(shù)據(jù)提取( Log data ingestion) 、網(wǎng)絡數(shù)據(jù)提取( Wire data ingestion )、算法數(shù)據(jù)提取( Metric data ingestion )、文本和NLP文檔提取( Document text ingestion )、自動化模型的發(fā)現(xiàn)和預測( Automated pattern discovery and prediction )、異常檢測( Anomaly detection )、根因分析( Root cause determination )、按需交付( On-premises delivery )和軟件服務交付( Software as a service )等。當然這是后續(xù)和正在做的工作。