環(huán)境
三臺(tái)機(jī)器,ip為103、104、105,主節(jié)點(diǎn)為103,其它為從節(jié)點(diǎn)
環(huán)境信息主機(jī)如下表格:
JobManager/ TaskManager | TaskManager | TaskManager |
192.168.199.103/bigdata-04 | 192.168.199.104/bigdata-05 | 192.168.199.105/bigdata-06 |
Master/Slave | Slave | Slave |
安裝
首先下載Flink安裝壓縮包
https://flink.apache.org/downloads.html https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.11.1/flink-1.11.1-bin-scala_2.11.tgz |
下載完成后放到103主節(jié)點(diǎn)機(jī)器的/home/gpadmin/目錄下,并解壓安裝,該文件是可以拿來就用的,所以解壓完就可以了
tar -zvxf flink-1.11.1-bin-scala_2.11.tgz -C /home/gpadmin/ cd /home/gpadmin/ ln -sv flink-1.11.1/ flink |
配置
修改flink/conf/flink-conf.yaml文件:
jobmanager.rpc.address:bigdata-04
jobmanager.rpc.port:6123
jobmanager.heap.size:1024m
taskmanager.heap.size:1600m
taskmanager.numberOfTaskSlots:8
parallelism.default:1
修改flink/conf/masters
bigdata-04:8081
修改flink/conf/slaves
bigdata-04
bigdata-05
bigdata-06
分發(fā)文件以及配置到其它兩臺(tái)機(jī)器
scp-r /home/gpadmin/flink bigdata-05:/home/gpadmin/flink
scp-r /home/gpadmin/flink bigdata-06:/home/gpadmin/flink
進(jìn)入主節(jié)點(diǎn)/flink/bin
./start-cluster.sh
UI
http://192.168.199.103:8081
點(diǎn)擊SubmitNew Job 功能,然后添加jar包
添加完成后,輸入主程序的路徑,及并發(fā)等提交作業(yè)即可看到任務(wù)正在運(yùn)行
通過TaskManager找到任務(wù)的控制臺(tái),可以看到輸出
至此,Flink安裝部署1.11.1StandaloneSessionClusterEntrypoint模式部署,以及UI界面提交jar包和作業(yè)模式、停止作業(yè)等就全部完成了。
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/129980.html
摘要:一微服務(wù)概念微服務(wù)體系結(jié)構(gòu)由輕量級(jí)松散耦合的服務(wù)集合組成。每個(gè)服務(wù)都有自己的計(jì)劃測(cè)試發(fā)布部署擴(kuò)展集成和獨(dú)立維護(hù)。團(tuán)隊(duì)不必因?yàn)檫^去的技術(shù)決定而受到懲罰。用在這里是指將相關(guān)的服務(wù)通過聚合器聚合在一起,這個(gè)聚合器就是門面。 微服務(wù)架構(gòu)現(xiàn)在是談到企業(yè)應(yīng)用架構(gòu)時(shí)必聊的話題,微服務(wù)之所以火熱也是因?yàn)橄鄬?duì)之前的應(yīng)用開發(fā)方式有很多優(yōu)點(diǎn),如更靈活、更能適應(yīng)現(xiàn)在需求快速變更的大環(huán)境。 一、微服務(wù)概念 微服...
摘要:放置在目錄下或通過絕對(duì)路徑被引用。對(duì)于相關(guān)來說,我們推薦使用而不是直接鏈?zhǔn)街付?。在不更改配置文件的情況下,前端頁面迭代發(fā)布,不需要重啟服務(wù)。 作者:gauseen 0. 關(guān)于 Vuejs 簡介:Vue (讀音 /vju?/,類似于 view) 是一套用于構(gòu)建用戶界面的漸進(jìn)式框架,易用、靈活、高效。 生態(tài)系統(tǒng) 項(xiàng)目 介紹 awesome-vue Vue.js 相關(guān)很棒的...
摘要:當(dāng)企業(yè)的運(yùn)維團(tuán)隊(duì)去維護(hù)一個(gè)彈性的容器集群時(shí),傳統(tǒng)的軟件部署方式需要向容器遷移,這個(gè)過程中需要有風(fēng)險(xiǎn)預(yù)判和規(guī)避之道。但是這樣會(huì)有些問題,就是大部分鏡像都是基于構(gòu)建的,這會(huì)和樹莓派的很不兼容。多次嘗試后狀態(tài)被破壞刪庫重試,重啟大法好。 當(dāng)前技術(shù)世界的發(fā)展形勢(shì)就是讓開發(fā)人員從繁瑣的應(yīng)用配置和管理中解放出來,使用容器鏡像來處理復(fù)雜的程序運(yùn)行依賴庫的需求,保證代碼運(yùn)行環(huán)境的一致性。既然這樣的好處...
摘要:到了移動(dòng)互聯(lián)網(wǎng)時(shí)代,新興業(yè)務(wù)很明顯的一個(gè)要求就是需要彈性和敏捷,這種問題稱為敏態(tài)的問題。本次青云發(fā)布的三款產(chǎn)品,基本上都是去面對(duì)穩(wěn)態(tài)問題的解決方案。因此,青云在云端交付的分離模式解決方案就必須解決上述問題。 「青云一直有一個(gè)目標(biāo),就是要建立一朵更好的云,全模云的推出也標(biāo)志著我們?cè)趯?shí)現(xiàn)這個(gè)目標(biāo)上往前走了一大步。」本文由青云QingCloud CTO 甘泉的演講內(nèi)容整理而來,共 2628 ...
摘要:到了移動(dòng)互聯(lián)網(wǎng)時(shí)代,新興業(yè)務(wù)很明顯的一個(gè)要求就是需要彈性和敏捷,這種問題稱為敏態(tài)的問題。本次青云發(fā)布的三款產(chǎn)品,基本上都是去面對(duì)穩(wěn)態(tài)問題的解決方案。因此,青云在云端交付的分離模式解決方案就必須解決上述問題。 「青云一直有一個(gè)目標(biāo),就是要建立一朵更好的云,全模云的推出也標(biāo)志著我們?cè)趯?shí)現(xiàn)這個(gè)目標(biāo)上往前走了一大步?!贡疚挠汕嘣芉ingCloud CTO 甘泉的演講內(nèi)容整理而來,共 2628 ...
摘要:閱讀原文把策略模式應(yīng)用到實(shí)際項(xiàng)目中無論你知不知道這個(gè)設(shè)計(jì)模式,但必定在項(xiàng)目中都似曾相識(shí)。文件存儲(chǔ)的方式不同,同時(shí)文件的獲取和刪除也不同保存,獲取,刪除后的響應(yīng)也是相同的,也不考慮了。此時(shí)引入是解決問題的最佳方式。 閱讀原文:把「策略模式」應(yīng)用到實(shí)際項(xiàng)目中 無論你知不知道這個(gè)設(shè)計(jì)模式,但必定在項(xiàng)目中都似曾相識(shí)。倘若僅僅聊理論必然枯燥乏味,只有理論和實(shí)戰(zhàn)相結(jié)合方可達(dá)到人劍合一的境界。 首先...
閱讀 1362·2023-01-11 13:20
閱讀 1710·2023-01-11 13:20
閱讀 1216·2023-01-11 13:20
閱讀 1913·2023-01-11 13:20
閱讀 4168·2023-01-11 13:20
閱讀 2764·2023-01-11 13:20
閱讀 1404·2023-01-11 13:20
閱讀 3676·2023-01-11 13:20