UCloud Cube助力科盾業(yè)務(wù)容器化一步到位

songjz 發(fā)布于2021-02-22 17:12 / 3106人閱讀

摘要：幫助科盾實(shí)現(xiàn)了業(yè)務(wù)的快速回滾和橫向擴(kuò)展。后續(xù)，科盾計(jì)劃引入集群，并將更多數(shù)據(jù)處理鏈等上的服務(wù)遷移至。

前言
以Docker為代表的容器技術(shù)縮短了企業(yè)應(yīng)用從開(kāi)發(fā)、構(gòu)建到發(fā)布、運(yùn)行的整個(gè)生命周期。Gartner推測(cè)到2022年將會(huì)有75%的全球化企業(yè)將在生產(chǎn)中使用容器化的應(yīng)用（當(dāng)前約為30%）。由于Docker往往難以獨(dú)立支撐起大規(guī)模容器化部署，因此誕生了Kubernetes等容器編排工具，解決了大規(guī)模容器的組織和管理難題。

但事實(shí)上，Kubernetes的使用體系還是非常復(fù)雜的，對(duì)于企業(yè)的開(kāi)發(fā)運(yùn)維人員而言，需要具備一定的網(wǎng)絡(luò)、存儲(chǔ)、系統(tǒng)等方面的技術(shù)能力。同時(shí)在Kubernetes 集群的部署過(guò)程中，也需要面臨多節(jié)點(diǎn)集群搭建維護(hù)、網(wǎng)絡(luò)和存儲(chǔ)的選擇配置等難題。上述問(wèn)題是企業(yè)在大規(guī)模應(yīng)用的容器化部署和容器編排中不可避免的，科盾亦面臨同樣的困境。

科盾為什么選擇容器化？

深圳市科盾科技有限公司（下文簡(jiǎn)稱(chēng)科盾）是全國(guó)領(lǐng)先的互聯(lián)網(wǎng)大數(shù)據(jù)服務(wù)商，是一家專(zhuān)注于網(wǎng)絡(luò)空間治理領(lǐng)域科研及應(yīng)用開(kāi)發(fā)的國(guó)家高新技術(shù)企業(yè)，致力于為網(wǎng)安、網(wǎng)信、政府及大中型企業(yè)提供大數(shù)據(jù)互聯(lián)網(wǎng)輿情監(jiān)測(cè)、網(wǎng)絡(luò)情報(bào)挖掘和企業(yè)商情監(jiān)測(cè)等服務(wù)，以便及時(shí)、精準(zhǔn)、全面掌握互聯(lián)網(wǎng)輿情信息，快速化解輿情危機(jī)。同時(shí)全面獲取網(wǎng)絡(luò)情報(bào)線索和市場(chǎng)競(jìng)爭(zhēng)情報(bào)，為政府機(jī)構(gòu)打擊網(wǎng)絡(luò)違法犯罪、企業(yè)提高市場(chǎng)競(jìng)爭(zhēng)力提供高科技利器。輿情分析的數(shù)據(jù)來(lái)源幾乎覆蓋所有互聯(lián)網(wǎng)平臺(tái)的公開(kāi)信息，包括常見(jiàn)的資訊網(wǎng)站和社交媒體、自媒體、短視頻等平臺(tái)。因此構(gòu)建一套完整精準(zhǔn)的輿情監(jiān)測(cè)系統(tǒng)，不僅需要強(qiáng)大的數(shù)據(jù)采集能力，還需要具備強(qiáng)大的數(shù)據(jù)分析、價(jià)值挖掘能力，給底層的IT架構(gòu)帶來(lái)巨大的技術(shù)挑戰(zhàn)。

在實(shí)現(xiàn)微服務(wù)及容器化部署之前，科盾是直接將應(yīng)用部署在服務(wù)器上的，開(kāi)發(fā)運(yùn)維人員花費(fèi)大量時(shí)間在開(kāi)發(fā)、測(cè)試和生產(chǎn)環(huán)境的配置上，還要解決日常出現(xiàn)的網(wǎng)絡(luò)、日志、監(jiān)控等問(wèn)題。隨著公司業(yè)務(wù)的擴(kuò)展，整個(gè)系統(tǒng)越來(lái)越龐雜，且依賴(lài)復(fù)雜、數(shù)據(jù)沒(méi)有隔離、邏輯重復(fù)，于是科盾將其業(yè)務(wù)進(jìn)行了微服務(wù)架構(gòu)的改造。
科盾采用了 SpringCloud 微服務(wù)體系及 Eureka 服務(wù)注冊(cè)中心，將整體業(yè)務(wù)架構(gòu)分為任務(wù)調(diào)度、數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理等多個(gè)環(huán)節(jié)，其整體業(yè)務(wù)架構(gòu)圖如下：

任務(wù)調(diào)度系統(tǒng)根據(jù)注冊(cè)的數(shù)據(jù)采集節(jié)點(diǎn)信息，調(diào)度有效的采集目標(biāo)給數(shù)據(jù)采集節(jié)點(diǎn)，數(shù)據(jù)采集節(jié)點(diǎn)根據(jù)算法對(duì)目標(biāo)處理后，將數(shù)據(jù)結(jié)果傳輸根據(jù)其內(nèi)容類(lèi)型，傳輸給基于 MySQL、MongoDB、HBase、Elasticsearch、對(duì)象存儲(chǔ)等服務(wù)的存儲(chǔ)隊(duì)列，再由處理鏈進(jìn)行數(shù)據(jù)清洗、資源文件拆分下載、模型預(yù)測(cè)、各個(gè)子系統(tǒng)業(yè)務(wù)標(biāo)簽、數(shù)據(jù)推送服務(wù)等。

在微服務(wù)階段，隨著應(yīng)用數(shù)量的增加，一次發(fā)布往往涉及了多個(gè)應(yīng)用，這對(duì)團(tuán)隊(duì)的自動(dòng)化運(yùn)維水平提出了更高的要求。于是，團(tuán)隊(duì)開(kāi)始對(duì)應(yīng)用進(jìn)行容器化改造。各個(gè)模塊打包封裝成鏡像，就可以在任意平臺(tái)上運(yùn)行，輕松實(shí)現(xiàn)業(yè)務(wù)的遷移和擴(kuò)展；無(wú)需重復(fù)配置環(huán)境，配合Gitlab就可以非常方便的進(jìn)行持續(xù)交付和部署，還可以對(duì)應(yīng)用之間進(jìn)行隔離。

Cube比容器更快更輕
使用容器后確實(shí)解決了科盾先前面臨的交付效率、運(yùn)維成本和環(huán)境一致性等問(wèn)題，但自建Docker服務(wù)仍存在一些問(wèn)題，例如：

? 需購(gòu)買(mǎi)固定資源規(guī)格的主機(jī)，成本投入比較高；

? 只能通過(guò)主機(jī)進(jìn)行掛載，操作繁瑣；

? 只支持單一IP，綁定額外的IP十分繁瑣；

? 遇到故障時(shí)需要額外安裝控制調(diào)度系統(tǒng)進(jìn)行重啟；

? 只能通過(guò)namespace和cgroup進(jìn)行弱隔離；

? 需要使用docker命令進(jìn)行創(chuàng)建，學(xué)習(xí)成本較高。
通過(guò)UCloud容器實(shí)例Cube，用戶(hù)只需要提供打包好的容器鏡像，即可實(shí)現(xiàn)在數(shù)秒之內(nèi)，實(shí)現(xiàn)批量部署容器化應(yīng)用，而不需要預(yù)先購(gòu)買(mǎi)主機(jī)或K8S集群，并且只需為容器實(shí)際運(yùn)行消耗的資源付費(fèi)。
此外Cube還具備以下優(yōu)勢(shì)：

? 網(wǎng)絡(luò)上使用 UCloud VPC網(wǎng)絡(luò)進(jìn)行內(nèi)網(wǎng)服務(wù)，與 UCloud 其他云產(chǎn)品打通；

? 存儲(chǔ)直接使用云盤(pán)進(jìn)行掛載使用，讀寫(xiě)性能高，操作便捷；

? Cube控制調(diào)度系統(tǒng)為容器自動(dòng)重啟，自愈能力強(qiáng)；

? UCloud海量資源支撐，超大集群避免單一節(jié)點(diǎn)故障；

? 使用Firecracker虛擬化技術(shù)實(shí)現(xiàn)虛擬機(jī)級(jí)別的強(qiáng)隔離。
基于Cube的優(yōu)勢(shì)，科盾已將其數(shù)據(jù)采集節(jié)點(diǎn)遷移到了Cube，日志收集方案由原來(lái)的宿主機(jī)本地映射存取，改為發(fā)送到Kafka隊(duì)列。由于容器化應(yīng)用的特質(zhì)，科盾無(wú)需對(duì)業(yè)務(wù)進(jìn)行改造，直接采用原有鏡像即可在 Cube 上部署應(yīng)用，實(shí)現(xiàn)平滑遷移。而 Kafka 的應(yīng)用，也提升了日志收集、管理的效率。
Cube 幫助科盾實(shí)現(xiàn)了業(yè)務(wù)的快速回滾和橫向擴(kuò)展。后續(xù)，科盾計(jì)劃引入K8S集群，并將更多數(shù)據(jù)處理鏈等上的服務(wù)遷移至Cube。

總結(jié)
科盾的業(yè)務(wù)架構(gòu)從傳統(tǒng)的服務(wù)器部署模式到微服務(wù)架構(gòu)、容器化改造，再到選擇UCloud容器實(shí)例服務(wù)Cube的遷移，是企業(yè)降低資源成本、提升開(kāi)發(fā)運(yùn)維效率的探索之路，也貼合云原生技術(shù)崛起的脈絡(luò)。無(wú)論是容器Docker、Kubernetes還是Serverless架構(gòu)的Cube，最終都會(huì)回歸到為企業(yè)降本增效的核心價(jià)值。

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/117634.html

發(fā)表評(píng)論

登陸后可評(píng)論

0條評(píng)論

songjz

男|高級(jí)講師

我要關(guān)注我要私信

TA的文章

UCloud Cube助力科盾業(yè)務(wù)容器化一步到位

閱讀 3107·2021-02-22 17:12
立即收藏！2019前端工程師如何應(yīng)對(duì)裁員潮？

閱讀 728·2019-08-30 15:55
關(guān)于幾種自適應(yīng)布局

閱讀 3106·2019-08-30 15:54
前端進(jìn)階系列(一):SEO和HTML語(yǔ)義化

閱讀 1397·2019-08-29 16:56
CSS盒模型深入

閱讀 1869·2019-08-29 15:13
CSS3 border-image 徹底明白

閱讀 1729·2019-08-29 13:19
es6之箭頭函數(shù)

閱讀 610·2019-08-26 13:40
柯里化簡(jiǎn)介

閱讀 2829·2019-08-26 10:26

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專(zhuān)欄INFORMATION COLUMN

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！

UCloud Cube助力科盾業(yè)務(wù)容器化一步到位

相關(guān)文章

Cube如何助力科盾業(yè)務(wù)容器化“一步到位”？

UCloud優(yōu)刻得容器Cube入選2020年度十大云原生創(chuàng)新技術(shù)方案

**2020 UCloud用戶(hù)大會(huì)：升級(jí)新動(dòng)能創(chuàng)見(jiàn)新增長(zhǎng)**

CloudBest：年度復(fù)盤(pán)丨盤(pán)點(diǎn)2020無(wú)處不在的「云原生」

**Serverless容器實(shí)例Cube全面升級(jí) 快杰版計(jì)算性能提升16%！**

發(fā)表評(píng)論

0條評(píng)論

songjz

男|高級(jí)講師

TA的文章