大數(shù)據(jù)簡介

Tecode 發(fā)布于2022-06-28 18:59 / 2028人閱讀

摘要：一什么是大數(shù)據(jù)在互聯(lián)網(wǎng)技術(shù)發(fā)展到至今階段，大量日常，工作等事務(wù)產(chǎn)生的數(shù)據(jù)都已經(jīng)信息化，人類產(chǎn)生的數(shù)據(jù)量相比以前有了爆炸式的增長，以前傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)無法勝任，需求催生技術(shù)，一套用來處理海量數(shù)據(jù)的技術(shù)應(yīng)運而生，這就是發(fā)數(shù)據(jù)技術(shù)。

一、什么是大數(shù)據(jù)
在互聯(lián)網(wǎng)技術(shù)發(fā)展到至今階段，大量日常，工作等事務(wù)產(chǎn)生的數(shù)據(jù)都已經(jīng)信息化，人類產(chǎn)生的數(shù)據(jù)量相比以前有了爆炸式的增長，以前傳統(tǒng)的數(shù)據(jù)處理技術(shù)已經(jīng)無法勝任，需求催生技術(shù)，一套用來處理海量數(shù)據(jù)的技術(shù)應(yīng)運而生，這就是發(fā)數(shù)據(jù)技術(shù)。

梳理海量數(shù)據(jù)的核心技術(shù)：

海量數(shù)據(jù)的儲存（分布式）
海量數(shù)據(jù)的運算（分布式）
這些核心技術(shù)的實現(xiàn)是不需要用戶從零開始造輪子的儲存和運算的都已經(jīng)有大量的承受的框架來用。

儲存框架：

HDFS–分布式文件儲存系統(tǒng)
HBase–分布式數(shù)據(jù)庫系統(tǒng)
Kafka – 分布式消息緩存系統(tǒng)（實時流式數(shù)據(jù)處理場景中應(yīng)用廣泛）
運算框架：（要解決的核心問題就是幫用戶將處理邏輯在許多機器上并行執(zhí)行）

Hive – 數(shù)據(jù)倉庫工具：可以接收SQL,翻譯成mapreduce或者spark程序運行
Flume – 數(shù)據(jù)采集
Sqoop – 數(shù)據(jù)遷移
Elisticsearch – 分布式的搜索引擎
…
換個角度說，大數(shù)據(jù)是：
有海量的數(shù)據(jù)
有海量的數(shù)據(jù)進行挖掘的需求，有對海量數(shù)據(jù)進行挖掘的工具（Hadoop、spark等）
大數(shù)據(jù)在現(xiàn)實生活中的具體應(yīng)用
數(shù)據(jù)處理測最典型應(yīng)用：公司的產(chǎn)品運營情況分析
電商推薦系統(tǒng)：基于海量的瀏覽行為，購物行為數(shù)據(jù)，進行大量的模型的運算，得出各種推薦結(jié)論，一共電商網(wǎng)站頁面來為用戶進行商品推薦，（猜你喜歡）

精準(zhǔn)廣告推送系統(tǒng)：基于海量的互聯(lián)網(wǎng)用戶的各類數(shù)據(jù)，統(tǒng)計分析，進行用戶畫像（得到用戶的各種屬性標(biāo)簽），然后可以為廣告主進行有針對性的進準(zhǔn)的廣告投放。