成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

用ndp部署storm應(yīng)用

Stardustsky / 2495人閱讀

摘要:免費(fèi)領(lǐng)取驗(yàn)證碼內(nèi)容安全短信發(fā)送直播點(diǎn)播體驗(yàn)包及云服務(wù)器等套餐更多網(wǎng)易技術(shù)產(chǎn)品運(yùn)營(yíng)經(jīng)驗(yàn)分享請(qǐng)?jiān)L問網(wǎng)易云社區(qū)。文章來(lái)源網(wǎng)易云社區(qū)

本文由作者余寶虹授權(quán)網(wǎng)易云社區(qū)發(fā)布。

使用戶ndp部署一個(gè)Java應(yīng)用大家都非常熟悉的,但是看到某些同學(xué)用非常繁瑣的方式部署storm應(yīng)用的時(shí)候,我覺得很有必要整一個(gè)幫助教程,ndp幫助文檔里面沒有,ks論壇上也沒有找到,借這個(gè)契機(jī)對(duì)這個(gè)問題做一個(gè)簡(jiǎn)短的使用說(shuō)明。
首先看看原始的部署storm的方式:
步驟一:切換到目標(biāo)git分支,在應(yīng)用目錄下執(zhí)行mvn clean package -Dmaven.test.skip=true 來(lái)打包;
步驟二:將打包后的jar包上傳到服務(wù)端;
步驟三:在服務(wù)器終端執(zhí)行啟動(dòng)命令。
上面的步驟非常的繁瑣,需要服務(wù)器的權(quán)限,需要vpn,如果事先沒有提單申請(qǐng)的話,還必須花點(diǎn)時(shí)間等待這個(gè)權(quán)限下來(lái),除此之外還要使用NC,SCP,Python SimpleHTTPServer或者圖像化的ftp工具Filezilla等上傳應(yīng)用到服務(wù)器。有沒有有更好更簡(jiǎn)潔快速的方式的呢,一步搞定呢?答案是肯定的,ndp已經(jīng)為我們提供了相關(guān)的功能。
如何去做呢,搭建一鍵化的storm部署環(huán)境有下面幾個(gè)步驟,具體步驟如下(和常規(guī)應(yīng)用部署相同的步驟請(qǐng)參考ndp的使用說(shuō)明文檔):
步驟一:在模塊根目錄下面創(chuàng)建三個(gè)目錄,分別是online,qa,test,分別對(duì)應(yīng)三套環(huán)境中的啟動(dòng),停止腳本放入對(duì)應(yīng)的目錄下面;

start.sh 腳本內(nèi)容如下:

!/bin/bash

STORM_HOME=/home/nisp/apache-storm-bin
$STORM_HOME/bin/storm jar /home/nisp/storm-job/risk-detect/risk-storm-jar-with-dependencies.jar com.netease.is.storm.StormRunner risk_detect_topology test

stop.sh 腳本內(nèi)容如下:

!/bin/bash

STORM_HOME=/home/nisp/apache-storm-bin
$STORM_HOME/bin/storm kill risk_detect_topology

步驟二:集群配置中選擇應(yīng)用類型,請(qǐng)選擇“自定義”選項(xiàng),其它使用默認(rèn)值即可;

步驟三:構(gòu)建配置中,build.xml選項(xiàng)選擇“自定義提交”,并將如下的ant腳本復(fù)制粘貼進(jìn)去


上面的ant腳本中指定了啟動(dòng),停止storm應(yīng)用腳本的目錄位置,這個(gè)和步驟一描述的代碼結(jié)構(gòu)保持一致。

步驟四:發(fā)布配置選擇第一模板,并填寫腳本的執(zhí)行路徑(ndp可以執(zhí)行)

注意:上述命令使用ndp執(zhí)行時(shí),ndp會(huì)使用下面的范式

nohup ${START_CMD} >/home/nisp/risk-detect-storm/risk-detect-storm-test/risk-detect-storm-test/approot/logs/app.log 2>>/home/nisp/risk-detect-storm/risk-detect-storm-test/risk-detect-storm-test/approot/logs/app.log.err &

如果start_cmd填寫的是符合命令(包含&&或者;)的話就會(huì)提示類似“nohup: failed to run command cd": No such file or directory”的異常,直接在服務(wù)器終端是可以正常執(zhí)行的,這是因?yàn)槭褂胣dp后,ndp將范式改造為nohup ${START_CMD}` >/home/nisp/risk-detect-storm/risk-detect-storm-test/risk-detect-storm-test/approot/logs/app.log 2>>/home/nisp/risk-detect-storm/risk-detect-storm-test/risk-detect-storm-test/approot/logs/app.log.err &后才可以使用符合命令,就現(xiàn)在而言復(fù)雜的命令可以都寫在腳本里面,外面使用簡(jiǎn)單命令。

完成上面的四個(gè)步驟以后就可以直接通過(guò)ndp構(gòu)建發(fā)布storm應(yīng)用了,發(fā)布構(gòu)建和普通java項(xiàng)目一樣,這里就不贅述了。

還在用原始方法的同學(xué),改造起來(lái)吧,借助ndp每次5分鐘變5s鐘不是夢(mèng),省下的時(shí)間去做些更有意義的事情吧。

免費(fèi)領(lǐng)取驗(yàn)證碼、內(nèi)容安全、短信發(fā)送、直播點(diǎn)播體驗(yàn)包及云服務(wù)器等套餐

更多網(wǎng)易技術(shù)、產(chǎn)品、運(yùn)營(yíng)經(jīng)驗(yàn)分享請(qǐng)?jiān)L問網(wǎng)易云社區(qū)。

文章來(lái)源: 網(wǎng)易云社區(qū)

文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/25361.html

相關(guān)文章

  • 大數(shù)據(jù)入門指南(GitHub開源項(xiàng)目)

    摘要:項(xiàng)目地址前言大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖大數(shù)據(jù)常用軟件安裝指南一分布式文件存儲(chǔ)系統(tǒng)分布式計(jì)算框架集群資源管理器單機(jī)偽集群環(huán)境搭建集群環(huán)境搭建常用命令的使用基于搭建高可用集群二簡(jiǎn)介及核心概念環(huán)境下的安裝部署和命令行的基本使用常用操作分區(qū)表和分桶表視圖 項(xiàng)目GitHub地址:https://github.com/heibaiying... 前 言 大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖 大數(shù)據(jù)常用軟件安裝指...

    guyan0319 評(píng)論0 收藏0
  • 糖豆實(shí)時(shí)推薦系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

    摘要:年發(fā)表了基于和存儲(chǔ)的大規(guī)模實(shí)時(shí)推薦系統(tǒng)實(shí)現(xiàn)了一系列經(jīng)典推薦算法的實(shí)時(shí)版本實(shí)現(xiàn)了數(shù)種實(shí)時(shí)算法提高推薦精度廣泛應(yīng)用于業(yè)務(wù)有效提高騰訊采用使用原因,支持實(shí)時(shí)數(shù)據(jù)流式計(jì)算,良好的可擴(kuò)展性可容錯(cuò)性,采用簡(jiǎn)單編程模型。 1.實(shí)時(shí)推薦系統(tǒng)與相關(guān)工作 1.1 原因 實(shí)時(shí)計(jì)算能夠及時(shí)捕獲用戶短時(shí)興趣,同時(shí)能夠快速反饋分發(fā)當(dāng)前系統(tǒng)的用戶興趣內(nèi)容。大量實(shí)踐以及發(fā)表的文章都顯示了推薦系統(tǒng)實(shí)時(shí)化,對(duì)推薦精準(zhǔn)度的...

    pf_miles 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<