java-study-bigdata-flink-網(wǎng)絡(luò)資料-01-flink 基本原理和應(yīng)用場景

DandJ 發(fā)布于2019-08-16 13:45 / 2038人閱讀

摘要：前言相關(guān)學(xué)習(xí)，資料來源于網(wǎng)絡(luò)中文社區(qū)官方網(wǎng)站簡書上的翻譯教程簡介備注迭代計(jì)算用于機(jī)器學(xué)習(xí)相關(guān)備注流處理批處理機(jī)器學(xué)習(xí)圖計(jì)算組件包含和兩個(gè)階段包含包含流式處理和批處理流式處理批處理批處理批處理之上的流式處理一個(gè)如果每個(gè)數(shù)據(jù)單元經(jīng)過處理，然后

前言

flink 相關(guān)學(xué)習(xí)，資料來源于網(wǎng)絡(luò)
Flink中文社區(qū)：https://doc.flink-china.org/i...
Flink官方網(wǎng)站：https://flink.apache.org/
簡書上的翻譯：https://www.jianshu.com/u/e7c...
教程：https://ke.qq.com/course/list...

1、Flink 簡介

備注：迭代計(jì)算用于機(jī)器學(xué)習(xí)相關(guān)

備注：
1、流處理
2、批處理
3、機(jī)器學(xué)習(xí)
4、圖計(jì)算

2、flink 組件

mapreduce：包含map 和reduce兩個(gè)階段
storm:包含spout bolt
flink:包含：DataSource,Transformations,Data Sink

3、流式處理和批處理

Storm: 流式處理
Spark: 批處理
MapReduce: 批處理

Spark Streaming:
批處理之上的流式處理,一個(gè)batch,如果每個(gè)數(shù)據(jù)單元經(jīng)過1處理，然后放到2中的緩存，緩存中有一個(gè)數(shù)據(jù)，3就取數(shù)據(jù)然后處理

Flink:

對比如下：

4、應(yīng)用場景

GPU云服務(wù)器云服務(wù)器 cdn和應(yīng)用場景網(wǎng)絡(luò)爬蟲基本原理賬戶基本資料基本原理

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/72259.html

相關(guān)文章

java-study-bigdata-flink-網(wǎng)絡(luò)資料-02-flink-wordcount

摘要：滑動窗口原理原理代碼測試本地測試上執(zhí)行運(yùn)行方法提交到集群測試偽分布式集群搭建下載解壓啟動訪問啟動端口測試提交包到集群環(huán)境啟動任務(wù)測試查看 flink word count 1、滑動窗口-wordcount ## 1.1 原理&code ## 原理：showImg(https://segmentfault.com/img/bVbjPAP?w=686&h=217); 代碼：https://...

jsdt 2019-08-16 13:46 評論0 收藏0
java-study-bigdata-flink-網(wǎng)絡(luò)資料-03-flink-集群搭建

摘要：集群搭建準(zhǔn)備環(huán)境機(jī)器已經(jīng)配置免密登陸關(guān)閉防火墻配置修改配置兩臺機(jī)器都配置配置啟動在節(jié)點(diǎn)，啟動 Flink集群搭建 1、Standalone cluster 準(zhǔn)備環(huán)境：機(jī)器：centos7-1（manager）, cenetos7-2(已經(jīng)配置ssh免密登陸,關(guān)閉防火墻)jdk：jdk1.8flink:flink-1.6.1-bin-hadoop27-scala_2.11.tgz 1.1...

bigdevil_s 2019-08-16 13:45 評論0 收藏0
【Flink實(shí)時(shí)計(jì)算 UFlink】UFlink SQL 開發(fā)指南

摘要：開發(fā)指南是為簡化計(jì)算模型，降低用戶使用實(shí)時(shí)計(jì)算的門檻而設(shè)計(jì)的一套符合標(biāo)準(zhǔn)語義的開發(fā)套件。隨后，將為該表生成字段，用于記錄并表示事件時(shí)間。UFlink SQL 開發(fā)指南UFlink SQL 是 UCloud 為簡化計(jì)算模型，降低用戶使用實(shí)時(shí)計(jì)算的門檻而設(shè)計(jì)的一套符合標(biāo)準(zhǔn) SQL 語義的開發(fā)套件。接下來，開發(fā)者可以根據(jù)如下內(nèi)容，逐漸熟悉并使用 UFlink SQL 組件所提供的便捷功能。1 ...

Tecode 2022-06-28 19:00 評論0 收藏0
前端秋招面試總結(jié)

摘要：前言秋招宣告結(jié)束，面試了接近家公司，有幸拿到，感謝這段時(shí)間一起找工作面試的朋友和陪伴我的人。一定要提前準(zhǔn)備好，不然面試官叫你說遇到的難點(diǎn)，或者直接問問題時(shí)可能會懵逼。前言秋招宣告結(jié)束，面試了接近20家公司，有幸拿到offer，感謝這段時(shí)間一起找工作面試的朋友和陪伴我的人。這是一段難忘的經(jīng)歷，相信不亞于當(dāng)年的高考吧，也許現(xiàn)在想起來高考不算什么，也許只有經(jīng)歷過秋招的人才懂得找工作的艱辛...

Gu_Yan 2019-08-02 12:04 評論0 收藏0
前端秋招面試總結(jié)

摘要：前言秋招宣告結(jié)束，面試了接近家公司，有幸拿到，感謝這段時(shí)間一起找工作面試的朋友和陪伴我的人。一定要提前準(zhǔn)備好，不然面試官叫你說遇到的難點(diǎn)，或者直接問問題時(shí)可能會懵逼。前言秋招宣告結(jié)束，面試了接近20家公司，有幸拿到offer，感謝這段時(shí)間一起找工作面試的朋友和陪伴我的人。這是一段難忘的經(jīng)歷，相信不亞于當(dāng)年的高考吧，也許現(xiàn)在想起來高考不算什么，也許只有經(jīng)歷過秋招的人才懂得找工作的艱辛...

Scholer 2019-08-29 17:21 評論0 收藏0