測試為單Source以及非共享TaskSlot的單Map操作。Same Host表示兩個(gè)TaskManager是否在同一臺機(jī)器上運(yùn)行。 | | | | | | ------------ | -------- | ---------- | --------- | | Message Size | Parallel | Throughput" />

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

【Flink實(shí)時(shí)計(jì)算 UFlink】性能數(shù)據(jù)

Tecode / 1946人閱讀

摘要:性能數(shù)據(jù)吞吐量測試為單以及非共享的單操作。表示兩個(gè)是否在同一臺機(jī)器上運(yùn)行。吞吐量測試邏輯為單,后接共享的操作且該為有狀態(tài)操作,其狀態(tài)為給定大小的數(shù)組。

性能數(shù)據(jù)

吞吐量

測試為單Source以及非共享TaskSlot的單Map操作。Same Host表示兩個(gè)TaskManager是否在同一臺機(jī)器上運(yùn)行。
Message SizeParallelThroughputSame Host
10241400 MB/sTrue
10241360 MB/sFalse
1024 * 10241345 MB/sFalse
1024 * 10241278 MB/sFalse

延遲

測試為單Source以及非共享TaskSlot的單Map操作。Same Host表示兩個(gè)TaskManager是否在同一臺機(jī)器上運(yùn)行。
Message SizeParallel延遲中位數(shù)
4 byte129 ms

Kafka Consumer

測試邏輯為單Kafka Source,后接共享TaskSlot的Map操作。
Message SizeBroker SizePartition SizeReplica SizeConsumer ParallelCheckpoint EnabledThroughput
10243331False230 MB/s
10243333False370 MB/s
10243331True230 MB/s
10243333True370 MB/s

Kafka Consumer

測試邏輯為單字符串生成Source,后接共享TaskSlot的Kafka Sink。
Message SizeBroker SizePartition SizeReplica SizeAckParallelThroughput
1024333-1175 MB/s
10243331180 MB/s
100333-1155 MB/s
1003331157 MB/s

HDFS/Rocksdb checkpoint吞吐量

測試邏輯為單Source,后接共享TaskSlot的Map操作;且該Source為有狀態(tài)操作,其狀態(tài)為給定大小的byte數(shù)組。
Stated Source ParallelCheckpoint IntervalCheckpoint state Sizehdfsrocksdb
110000 ms200 MB133 MB/s100 MB/s
310000 ms200 MB (each)200 MB/s128 MB/s
110000 ms100 MB133 MB/s100 MB/s
310000 ms100 MB (each)150 MB/s150 MB/s

Flink hdfs checkpoint 延遲

測試邏輯為單Source,后接共享TaskSlot的Map操作;且該Source為有狀態(tài)操作,其狀態(tài)為給定大小的byte數(shù)組。
Stated Source ParallelCheckpoint IntervalCheckpoint state SizeAVG Checkpoint Time
15000 ms5kb48 ms
35000 ms5kb (each state)100 ms

實(shí)時(shí)文檔歡迎https://docs.ucloud.cn/uflink/performance

文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址:http://systransis.cn/yun/126206.html

相關(guān)文章

  • Flink實(shí)時(shí)計(jì)算 UFlink】什么是實(shí)時(shí)計(jì)算、產(chǎn)品優(yōu)勢、版本支持

    摘要:什么是實(shí)時(shí)計(jì)算實(shí)時(shí)計(jì)算基于構(gòu)建,為分布式高性能隨時(shí)可用以及準(zhǔn)確的流處理應(yīng)用程序提供流處理框架,可用于流式數(shù)據(jù)處理等應(yīng)用場景。版本支持當(dāng)前支持的版本為,,,可以在提交任務(wù)時(shí)選擇所使用的版本。什么是實(shí)時(shí)計(jì)算實(shí)時(shí)計(jì)算(UFlink)基于ApacheFlink構(gòu)建,為分布式、高性能、隨時(shí)可用以及準(zhǔn)確的流處理應(yīng)用程序提供流處理框架,可用于流式數(shù)據(jù)處理等應(yīng)用場景。產(chǎn)品優(yōu)勢100%開源兼容基于開源社區(qū)版本...

    Tecode 評論0 收藏0
  • Flink實(shí)時(shí)計(jì)算 UFlink】UFlink開發(fā)注意事項(xiàng)

    摘要:開發(fā)注意事項(xiàng)基于托管集群的應(yīng)用開發(fā),和自建集群類似,但是仍然有幾個(gè)地方需要注意。和默認(rèn)配置托管集群默認(rèn)指定以及的堆大小為,目前不支持進(jìn)行更改單個(gè)中的數(shù)量設(shè)置為高可用配置應(yīng)用的高可用由集群以及共同保證。配置集群的運(yùn)行時(shí)狀態(tài)保存在的指定目錄中。UFlink開發(fā)注意事項(xiàng)基于UFlink托管集群的Flink應(yīng)用開發(fā),和自建集群類似,但是仍然有幾個(gè)地方需要注意。JobManager和TaskManag...

    Tecode 評論0 收藏0
  • Flink實(shí)時(shí)計(jì)算 UFlink】UFlink SQL 開發(fā)指南

    摘要:開發(fā)指南是為簡化計(jì)算模型,降低用戶使用實(shí)時(shí)計(jì)算的門檻而設(shè)計(jì)的一套符合標(biāo)準(zhǔn)語義的開發(fā)套件。隨后,將為該表生成字段,用于記錄并表示事件時(shí)間。UFlink SQL 開發(fā)指南UFlink SQL 是 UCloud 為簡化計(jì)算模型,降低用戶使用實(shí)時(shí)計(jì)算的門檻而設(shè)計(jì)的一套符合標(biāo)準(zhǔn) SQL 語義的開發(fā)套件。接下來,開發(fā)者可以根據(jù)如下內(nèi)容,逐漸熟悉并使用 UFlink SQL 組件所提供的便捷功能。1 ...

    Tecode 評論0 收藏0
  • Flink實(shí)時(shí)計(jì)算 UFlink】基于Maven開發(fā)指南

    摘要:基于開發(fā)指南本節(jié)主要介紹如何創(chuàng)建項(xiàng)目,并開發(fā)簡單的應(yīng)用,從而使該應(yīng)用可以被提交到平臺運(yùn)行。如果不設(shè)置為,可能會導(dǎo)致的類沖突,產(chǎn)生不可預(yù)見的問題。在自動生成的文件中,使用了來更方便的控制依賴的可見性?;贛aven開發(fā)指南本節(jié)主要介紹如何創(chuàng)建項(xiàng)目,并開發(fā)簡單的Flink應(yīng)用,從而使該Flink應(yīng)用可以被提交到UFlink平臺運(yùn)行。==== 自動生成代碼框架 ==== 對于Java開發(fā)者,可以使...

    Tecode 評論0 收藏0
  • Flink實(shí)時(shí)計(jì)算 UFlink】集群管理

    摘要:集群管理進(jìn)入集群管理頁面通過集群列表頁面進(jìn)入集群管理頁面獲取集群詳情通過集群列表的詳情按鈕進(jìn)入詳情頁面調(diào)整集群大小點(diǎn)擊調(diào)整容量調(diào)整集群大小查看點(diǎn)擊詳情頁的按鈕查看查看任務(wù)歷史點(diǎn)擊詳情頁的按鈕查看歷史任務(wù)節(jié)點(diǎn)密碼重置點(diǎn)擊集群列表頁的集群管理1. 進(jìn)入集群管理頁面通過UFlink集群列表頁面進(jìn)入集群管理頁面:2. 獲取集群詳情通過集群列表的詳情按鈕進(jìn)入詳情頁面:3. 調(diào)整集群大小點(diǎn)擊調(diào)整容量調(diào)整...

    Tecode 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<