成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

分布式任務(wù)調(diào)度平臺的自動化部署

tomato / 3677人閱讀

摘要:分布式任務(wù)調(diào)度平臺,美團點評員工許雪里開發(fā),其核心設(shè)計目標是開發(fā)迅速學習簡單輕量級易擴展。源碼地址二本文簡介主要是利用成熟的部署工具,結(jié)合開源的分布式任務(wù)調(diào)度框架作為工程,快速搭建自己的持續(xù)集成項目,其他項目可以類似構(gòu)建。

一、概述

   1、自動化部署能簡化開發(fā)過程的代碼管理,讓開發(fā)人員把更多的時間專注于業(yè)務(wù)實現(xiàn),
   簡化繁瑣的上線流程和操作步驟,做到項目的快速打包和部署,減少人為操作中的失誤。

   2、分布式任務(wù)調(diào)度平臺,XXL-JOB:美團點評員工許雪里開發(fā),
   其核心設(shè)計目標是開發(fā)迅速、學習簡單、輕量級、易擴展。
   現(xiàn)已開放源代碼并接入多家公司線上產(chǎn)品線,開箱即用。
   源碼地址:https://github.com/xuxueli/xxl-job

二、本文簡介

  主要是利用成熟的CI部署工具Jenkins,結(jié)合開源的分布式任務(wù)調(diào)度框架xxl-job作為demo工程,快速搭建自己的持續(xù)集成項目,其他項目可以類似構(gòu)建。

三、Jenkins部署和配置

1、安裝
  1.1用特定版本的安裝包安裝
     安裝包下載頁:   https://pkg.jenkins.io/redhat-stable/
    (注意:會有一些安裝版本和jdk版本匹配的問題,一般CentOS 6.5 安裝版本jenkins-2.7.4-1.1.noarch.rpm是OK的)
  1.2、安裝最新版本:
         按照文檔來就沒問題: https://jenkins.io/doc/book/getting-started/installing/#unix-linux
  1.3、啟動和停止
      sudo service jenkins start/stop/restart
      sudo chkconfig jenkins on

2、全局配置

2.1 全局配置:點擊系統(tǒng)管理,進入Global Tool Configuration

2.2 配置常用環(huán)境變量

注意的點:所有配置需要配置在全局環(huán)境變量里面,讓系統(tǒng)所有用戶都能訪問到,比如說maven,不能配置在特定的用戶目錄下,否則后面jenkins用戶就無法執(zhí)行mvn命令,而報錯。
jdk:

git:

maven:

3、 項目配置

3.1、新建一個項目

  點擊新建,新建一個自由風格的軟件項目  

3.2、項目源碼配置(使用git管理):

  首先需要安裝插件:
   系統(tǒng)管理-》管理插件,在可選插件里找到這個,讓后直接安裝就可以

3.3、配置遠程SSH

在系統(tǒng)管理-》系統(tǒng)設(shè)置里,找到Publish over SSH

4、構(gòu)建配置詳細:

    1、 General配置項目名稱和簡介
    2、源碼管理配置git項目地址
    3、構(gòu)建觸發(fā)器配置遠程構(gòu)建腳本
    4、構(gòu)建環(huán)境配置項目構(gòu)建前需要執(zhí)行的一些腳本
    5、構(gòu)建,配置構(gòu)建工具,比如maven打包,war包的上傳,執(zhí)行tomcat服務(wù)啟動腳本
    6、構(gòu)建后操作發(fā)布,構(gòu)建后的郵件發(fā)送等操作

4.1、簡介和配置

4.2、 配置項目源碼地址和訪問密碼

4.3、 配置Credentials

4.4、構(gòu)建環(huán)境

4.5、構(gòu)建 配置構(gòu)建命令 (這里的maven是前面全局環(huán)境變量中配置好的)

添加構(gòu)建后操作(需要前面安裝好遠程ssh插件才行)

4.6、配置構(gòu)建后操作

其中:

Transfer SetSource files:表示要上傳的本地的war包及路徑,可到工作空間去看
Remove prefix:表示要上傳時要去除的文件夾,即只上傳war包
remote driectory:即表示執(zhí)行時的路徑,相當于把war包上傳到這里了
exec commad:要執(zhí)行的命令,這里可以重命名jar包,啟動tomcat服務(wù)器

7、構(gòu)建后操作:

8、回到配置主頁,進行構(gòu)建

9、進入構(gòu)建控制臺查看構(gòu)建日志,如果有錯誤,可以直接查看到

四、xxl-job的介紹

項目地址:
 https://github.com/xuxueli/xxl-job

概述:
XXL-JOB是一個輕量級分布式任務(wù)調(diào)度框架,其核心設(shè)計目標是開發(fā)迅速、學習簡單、輕量級、易擴展。
現(xiàn)已開放源代碼并接入多家公司線上產(chǎn)品線,開箱即用。

特性:
- 1、簡單:支持通過Web頁面對任務(wù)進行CRUD操作,操作簡單,一分鐘上手;
- 2、動態(tài):支持動態(tài)修改任務(wù)狀態(tài)、暫停/恢復任務(wù),以及終止運行中任務(wù),即時生效;
- 3、調(diào)度中心HA(中心式):調(diào)度采用中心式設(shè)計,“調(diào)度中心”基于集群Quartz實現(xiàn),可保證調(diào)度中心HA;
- 4、執(zhí)行器HA(分布式):任務(wù)分布式執(zhí)行,任務(wù)"執(zhí)行器"支持集群部署,可保證任務(wù)執(zhí)行HA;
- 5、任務(wù)Failover:執(zhí)行器集群部署時,任務(wù)路由策略選擇"故障轉(zhuǎn)移"情況下調(diào)度失敗時將會平滑切換執(zhí)行器進行Failover;
- 6、一致性:“調(diào)度中心”通過DB鎖保證集群分布式調(diào)度的一致性, 一次任務(wù)調(diào)度只會觸發(fā)一次執(zhí)行;
- 7、自定義任務(wù)參數(shù):支持在線配置調(diào)度任務(wù)入?yún)?,即時生效;
- 8、調(diào)度線程池:調(diào)度系統(tǒng)多線程觸發(fā)調(diào)度運行,確保調(diào)度精確執(zhí)行,不被堵塞;
- 9、彈性擴容縮容:一旦有新執(zhí)行器機器上線或者下線,下次調(diào)度時將會重新分配任務(wù);
- 10、郵件報警:任務(wù)失敗時支持郵件報警,支持配置多郵件地址群發(fā)報警郵件;
- 11、狀態(tài)監(jiān)控:支持實時監(jiān)控任務(wù)進度;
- 12、Rolling執(zhí)行日志:支持在線查看調(diào)度結(jié)果,并且支持以Rolling方式實時查看執(zhí)行器輸出的完整的執(zhí)行日志;
- 13、GLUE:提供Web IDE,支持在線開發(fā)任務(wù)邏輯代碼,動態(tài)發(fā)布,實時編譯生效,省略部署上線的過程。支持30個版本的歷史版本回溯。
- 14、數(shù)據(jù)加密:調(diào)度中心和執(zhí)行器之間的通訊進行數(shù)據(jù)加密,提升調(diào)度信息安全性;
- 15、任務(wù)依賴:支持配置子任務(wù)依賴,當父任務(wù)執(zhí)行結(jié)束且執(zhí)行成功后將會主動觸發(fā)一次子任務(wù)的執(zhí)行, 多個子任務(wù)用逗號分隔;
- 16、推送maven中央倉庫: 將會把最新穩(wěn)定版推送到maven中央倉庫, 方便用戶接入和使用;
- 17、任務(wù)注冊: 執(zhí)行器會周期性自動注冊任務(wù), 調(diào)度中心將會自動發(fā)現(xiàn)注冊的任務(wù)并觸發(fā)執(zhí)行。同時,也支持手動錄入執(zhí)行器地址;
- 18、路由策略:執(zhí)行器集群部署時提供豐富的路由策略,包括:第一個、最后一個、輪詢、隨機、一致性HASH、最不經(jīng)常使用、最近最久未使用、故障轉(zhuǎn)移;
- 19、運行報表:支持實時查看運行數(shù)據(jù),如任務(wù)數(shù)量、調(diào)度次數(shù)、執(zhí)行器數(shù)量等;以及調(diào)度報表,如調(diào)度日期分布圖,調(diào)度成功分布圖等;
- 20、腳本任務(wù):支持以GLUE模式開發(fā)和運行腳本任務(wù),包括Shell、Python等類型腳本;
- 21、阻塞處理策略:調(diào)度過于密集執(zhí)行器來不及處理時的處理策略,策略包括:單機串行(默認)、丟棄后續(xù)調(diào)度、覆蓋之前調(diào)度;
- 22、失敗處理策略;調(diào)度失敗時的處理策略,策略包括:失敗告警(默認)、失敗重試;

文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址:http://systransis.cn/yun/67464.html

相關(guān)文章

  • XXL-JOB v1.9.1,布式任務(wù)調(diào)度平臺

    摘要:版本特性國際化調(diào)度中心實現(xiàn)國際化,支持中文英文兩種語言,默認為中文。調(diào)度中心提供觸發(fā)任務(wù)單次執(zhí)行的服務(wù),可根據(jù)業(yè)務(wù)事件靈活觸發(fā)。 版本 V1.9.1 特性 1、國際化:調(diào)度中心實現(xiàn)國際化,支持中文、英文兩種語言,默認為中文。 2、調(diào)度報表新增運行中中狀態(tài)項; 3、調(diào)度報表優(yōu)化,報表SQL調(diào)優(yōu)并且新增LocalCache緩存(緩存時間60s),提高大數(shù)據(jù)量下報表加載速度; 4、修復打包...

    沈建明 評論0 收藏0
  • XXL-JOB v2.0.2,布式任務(wù)調(diào)度平臺

    摘要:底層通訊方案優(yōu)化升級較新版本,由方案調(diào)整為方案,執(zhí)行器內(nèi)嵌提供服務(wù),調(diào)度中心復用容器端口提供服務(wù)任務(wù)告警邏輯調(diào)整,改為通過掃描失敗日志方式觸發(fā)。 v2.0.2 Release Notes 1、底層通訊方案優(yōu)化:升級較新版本xxl-rpc,由JETTY方案調(diào)整為NETTY_HTTP方案,執(zhí)行器內(nèi)嵌netty-http-server提供服務(wù),調(diào)度中心復用容器端口提供服務(wù); 2、任務(wù)告警邏...

    lily_wang 評論0 收藏0
  • XXL-JOB v2.1.0,布式任務(wù)調(diào)度平臺

    摘要:自研調(diào)度組件,移除依賴一方面是為了精簡系統(tǒng)降低冗余依賴,另一方面是為了提供系統(tǒng)的可控度與穩(wěn)定性觸發(fā)單節(jié)點周期性觸發(fā),運行事件如調(diào)度集群競爭,負載方式協(xié)同處理,鎖競爭更新觸發(fā)信息推送時間輪鎖釋放鎖競爭底層表結(jié)構(gòu)重構(gòu)移除張相關(guān)表,并對現(xiàn) v2.0.2 Release Notes 1、自研調(diào)度組件,移除quartz依賴:一方面是為了精簡系統(tǒng)降低冗余依賴,另一方面是為了提供系統(tǒng)的可控度與穩(wěn)...

    GitChat 評論0 收藏0
  • XXL-JOB v2.0.0 發(fā)布,布式任務(wù)調(diào)度平臺

    v2.0.0 Release Notes 1、調(diào)度中心遷移到 springboot; 2、底層通訊組件遷移至 xxl-rpc; 3、容器化:提供官方docker鏡像,并實時更新推送dockerhub(docker pull xuxueli/xxl-job-admin),進一步實現(xiàn)產(chǎn)品開箱即用; 4、新增無框架執(zhí)行器Sample示例項目 xxl-job-executor-sample-framel...

    Edison 評論0 收藏0

發(fā)表評論

0條評論

tomato

|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<