想要了解大數(shù)據(jù)和Java語言區(qū)別是什么？我們先來簡單了解一下他們定義的范疇：

大數(shù)據(jù)：簡而言之，就是海量的數(shù)據(jù)，數(shù)據(jù)種類繁多，數(shù)據(jù)結(jié)構(gòu)多變，數(shù)據(jù)存儲方式不同，需要通過工具去收集這些數(shù)據(jù)，然后存儲在存儲介質(zhì)的集群上。

java：java是一門計(jì)算機(jī)的編程語言，可以編寫桌面應(yīng)用程序、Web應(yīng)用程序、分布式系統(tǒng)和嵌入式系統(tǒng)應(yīng)用程序。

從定義可以大概了解到大數(shù)據(jù)和java語言區(qū)別應(yīng)該是java語言只是大數(shù)據(jù)中的一門開發(fā)工具語言，具體是怎么樣？我們一起來看看大數(shù)據(jù)架構(gòu)和java語言在大數(shù)據(jù)中應(yīng)用。

大數(shù)據(jù)架構(gòu)

一、數(shù)據(jù)源

首先從最底層的數(shù)據(jù)源來講，大數(shù)據(jù)包含的數(shù)據(jù)是各方各面的，所有在數(shù)據(jù)的來源上也是多種多樣的。從種類上來講大體上可以分為以下幾類：

• 日志數(shù)據(jù)：應(yīng)用系統(tǒng)的運(yùn)行日志，用戶訪問的行為日志等
  

• DB數(shù)據(jù)：企業(yè)內(nèi)部業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，例如客戶管理系統(tǒng)的客戶數(shù)據(jù)，訂單系統(tǒng)的訂單數(shù)據(jù)，物流系統(tǒng)的物流數(shù)據(jù)等

• 流式數(shù)據(jù)：簡單的理解就是實(shí)時采集的數(shù)據(jù)，源源不斷像流水一樣產(chǎn)生的數(shù)據(jù)，例如淘寶上用戶的訪問記錄

• 互聯(lián)網(wǎng)數(shù)據(jù)：互聯(lián)網(wǎng)數(shù)據(jù)有兩種，一種是自己去采集的數(shù)據(jù)，一種是跟外部企業(yè)合作的數(shù)據(jù)，例如可以開發(fā)爬蟲程序去爬取網(wǎng)站上公開的信息，和淘寶京東合作利用客戶購買行為數(shù)據(jù)等

• 其他數(shù)據(jù)：還有一些其他方面的數(shù)據(jù)，例如硬件設(shè)備產(chǎn)生的數(shù)據(jù)，特別是現(xiàn)在IOT物聯(lián)網(wǎng)的火熱，就是將所有硬件設(shè)備的數(shù)據(jù)收集起來進(jìn)行分析

二、數(shù)據(jù)接入

數(shù)據(jù)源的多種多樣，所以在數(shù)據(jù)接入技術(shù)和工具上也是多種多樣的，常用技術(shù)和工具有以下幾種：

• Sqoop：一款用來在Hadoop（Hive）和關(guān)系型數(shù)據(jù)庫之間傳輸數(shù)據(jù)的工具，可以將一個關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)入到HDFS（Hive）中，也可以將HDFS中的數(shù)據(jù)導(dǎo)入到關(guān)系型數(shù)據(jù)庫中，主要是針對于DB數(shù)據(jù)源的數(shù)據(jù)接入。

• Flume：一個分布式的、高可靠的、高可用的將大批量的不同數(shù)據(jù)源的日志數(shù)據(jù)收集、聚合、移動到數(shù)據(jù)中心（HDFS）進(jìn)行存儲的系統(tǒng)，主要針對于日志數(shù)據(jù)的收集和推送到數(shù)據(jù)倉庫，類似的還有ELK體系的Logstash組件。

• Kafka：一個分布式流處理平臺，用于構(gòu)造實(shí)時流數(shù)據(jù)管道，它可以在系統(tǒng)或應(yīng)用之間可靠地獲取數(shù)據(jù)，具有高性能、持久化、多副本備份、橫向擴(kuò)展能力，主要針對于流式數(shù)據(jù)的接入

三、數(shù)據(jù)存儲

說到數(shù)據(jù)存儲，大數(shù)據(jù)的發(fā)展歷史離不開一個叫Hadoop的家族產(chǎn)品，可以很直接的這么說，沒有Hadoop就沒有大數(shù)據(jù)，國內(nèi)很多大數(shù)據(jù)公司一開始建立的數(shù)據(jù)存儲數(shù)倉都是基于Hadoop體系建立的，那么Hadoop到底是什么呢？

Hadoop是一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。簡單的理解就是，可以利用大量便宜低端硬件配置的服務(wù)器，組建成一個跨服務(wù)器的存儲集群，數(shù)據(jù)可以保存在多個服務(wù)器上，實(shí)現(xiàn)大數(shù)據(jù)量的存儲和降低硬件成本。

Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，而MapReduce則為海量的數(shù)據(jù)提供了計(jì)算。

說到數(shù)據(jù)存儲，不得不說一下數(shù)據(jù)倉庫的架構(gòu)，不同于傳統(tǒng)的業(yè)務(wù)系統(tǒng)使用的關(guān)系型數(shù)據(jù)庫，Hadoop一個分布式文件系統(tǒng)，存儲方式是按照文件的存儲方式，所以就有了數(shù)據(jù)倉庫架構(gòu)的說法。數(shù)據(jù)倉庫的架構(gòu)主要有星型和雪花型兩種方式：

星型：一種使用關(guān)系數(shù)據(jù)庫實(shí)現(xiàn)多維分析空間的模式，稱為星型模式。星型模式的基本形式必須實(shí)現(xiàn)多維空間（常常被稱為方塊），以使用關(guān)系數(shù)據(jù)庫的基本功能。

雪花型：當(dāng)星型模式的維度需要進(jìn)行規(guī)范化時，星型模式就演進(jìn)為雪花模式。

大數(shù)據(jù)的數(shù)據(jù)倉庫架構(gòu)主要采用雪花型架構(gòu)，因?yàn)閿?shù)據(jù)源的多樣化，導(dǎo)致數(shù)據(jù)結(jié)構(gòu)也是多樣化的。不同于關(guān)系型數(shù)據(jù)庫，都是基于二維表的形式，而大數(shù)據(jù)的數(shù)據(jù)有文本數(shù)據(jù)，日志數(shù)據(jù)，設(shè)備數(shù)據(jù)，爬蟲數(shù)據(jù)，業(yè)務(wù)數(shù)據(jù)等，所以從接入數(shù)據(jù)到數(shù)倉還需要經(jīng)過ETL（抽取-extract、轉(zhuǎn)換-transform、加載-load）清洗的過程才能落地到數(shù)據(jù)倉庫。一般數(shù)據(jù)倉庫架構(gòu)可以分為五層：

• ODS層：ODS層主要是保存和來源數(shù)據(jù)一致的格式

• DIM層：DIM層主要用來存儲一些基礎(chǔ)的維度表，很少會改動
  
• MID層：MID層主要是用來處理根據(jù)業(yè)務(wù)邏輯和指標(biāo)口徑篩選出來的數(shù)據(jù)
  
• DW層：DW層根據(jù)主題分類，將數(shù)據(jù)按照不同的主題建立數(shù)據(jù)表存儲和進(jìn)行維度化
  
• DM層：DM層主要是面向應(yīng)用層的建模，例如一張分析報(bào)表需要展示不同維度和指標(biāo)的分析，那么根據(jù)這些維度和指標(biāo)從DW層的不同主題分類中的數(shù)據(jù)關(guān)聯(lián)出來，形成一張數(shù)據(jù)表給報(bào)表使用。
  

四、數(shù)據(jù)應(yīng)用

在數(shù)據(jù)清洗完落地?cái)?shù)據(jù)倉庫之后，就是怎么去利用這些數(shù)據(jù)去變現(xiàn)業(yè)務(wù)價值。不同行業(yè)有不同行業(yè)的用法，在這里小編以自身經(jīng)歷說一下，小編所在的大數(shù)據(jù)部門主要是針對金融行業(yè)進(jìn)行數(shù)據(jù)分析的，那么大概的應(yīng)用場景有以下幾種：

數(shù)據(jù)分析報(bào)表：基于業(yè)務(wù)需求開發(fā)的固定維度和指標(biāo)的分析報(bào)表

移動端數(shù)據(jù)可視化：基于手機(jī)端App展示的數(shù)據(jù)圖形可視化應(yīng)用

數(shù)據(jù)分析周報(bào)，月報(bào)：按周或著按月進(jìn)行數(shù)據(jù)匯總分析和預(yù)測，常用于郵件推送，公眾號推送

大屏可視化駕駛艙：基于大屏端數(shù)據(jù)圖形可視化，數(shù)據(jù)高度匯總，大而全

機(jī)器學(xué)習(xí)風(fēng)控模型：基于機(jī)器學(xué)習(xí)算法訓(xùn)練出統(tǒng)一規(guī)則的模型，用于貸前，貸中或者貸后風(fēng)控評審關(guān)卡。

java語言

在這里就不在過多的描述java的作用了，我們來聊聊java語言在大數(shù)據(jù)中可以做什么？

從上文大數(shù)據(jù)架構(gòu)來看，java語言主要可以應(yīng)用于開發(fā)數(shù)據(jù)應(yīng)用和大數(shù)據(jù)工具，例如java web開發(fā)數(shù)據(jù)分析報(bào)表，移動可視化分析，大屏可視化駕駛艙等，也可以用于開發(fā)一些數(shù)據(jù)處理過程中用于自動化和便捷開發(fā)的工具，例如調(diào)度系統(tǒng)：用于數(shù)據(jù)清洗作業(yè)的自動化依賴調(diào)度；補(bǔ)錄系統(tǒng)：用于數(shù)據(jù)缺失值的可視化補(bǔ)錄表，便于數(shù)據(jù)治理的自動化；發(fā)布平臺：用于調(diào)度作業(yè)一鍵從不同環(huán)境之間部署和數(shù)據(jù)同步審批等。

【我是蠟筆小添，專注IT前沿技術(shù)和科技資訊分享，歡迎關(guān)注我@蠟筆小添，我們一起學(xué)習(xí)交流探討】

請高興能回答你的問題！

首先要明確一點(diǎn)，大數(shù)據(jù)是一個行業(yè)方向，而Java是一門開發(fā)語言

大數(shù)據(jù)是什么

大數(shù)據(jù)是近幾年的一個專業(yè)名詞，以海量數(shù)據(jù)為核心，產(chǎn)生數(shù)據(jù)分析結(jié)果的技術(shù)處理過程和處理方式。大數(shù)據(jù)本身不在于原始數(shù)據(jù)的多少，而在于通過大數(shù)據(jù)分析數(shù)據(jù)產(chǎn)生之后的應(yīng)用數(shù)據(jù)的價值是什么。

大數(shù)據(jù)最開始用的技術(shù)大家都認(rèn)為是Hadoop，但實(shí)際上大數(shù)據(jù)處理的方式多種多樣，處理的技術(shù)語言可選性也很多，Java是其中一種，但并不是唯一的一種。 像C、GO、Python都可以處理大數(shù)據(jù)。

當(dāng)然基于大數(shù)據(jù)的數(shù)據(jù)存儲和計(jì)算的要求，云計(jì)算和大數(shù)據(jù)也算是共生共存的。

Java是什么？

Java是一種跨平臺的開發(fā)語言，應(yīng)用的場景很多， WEB，SERVICE，API，APP等等，算是目前各開發(fā)語言當(dāng)中綜合能力最強(qiáng)的一種。目前來看市場中Java開發(fā)的就業(yè)機(jī)會還是最高的。

說到這里，我想你應(yīng)該能足夠解答你的問題了。

如果我的回答對你有幫助，請記得點(diǎn)贊收藏！

JAVA

java是一種面向?qū)ο蟮某绦蛟O(shè)計(jì)語言，主要應(yīng)用于軟件的編寫。同時java也繼承了C語言大部分語法，但在使用上java要更加的簡單。因?yàn)閖ava的跨平臺性和可移植性，也使得java可以被應(yīng)用在各個程序的編寫和操作系統(tǒng)中。又因?yàn)閖ava是一種開源的編程語言。所以java可以進(jìn)行跨平臺的編寫、開發(fā)程序。

java語言主要涉及的工作方向分為兩個方面，一個方面是進(jìn)入領(lǐng)導(dǎo)層，做項(xiàng)目的負(fù)責(zé)人。這個就需要有大量的知識儲備，技能要求極高。同時還要有一定的管理能力。另一方面就是Java工程師，從初級工程師一點(diǎn)一點(diǎn)的做到高級工程師。java語言涉及的工作方向比較的單一，但是工作崗位需要的人很多。相對來說還是很好找工作。

大數(shù)據(jù)

大數(shù)據(jù)主要應(yīng)用于統(tǒng)計(jì)學(xué)中，也多被應(yīng)用在物聯(lián)網(wǎng)中。用于指導(dǎo)人們的商業(yè)行為、戰(zhàn)略覺策、未來預(yù)期的一種分析處理方法。大數(shù)據(jù)都是被應(yīng)用在物聯(lián)網(wǎng)中。用于對信息的捕獲和獲取，對于得到的信息進(jìn)行分析和工作。主要的應(yīng)用范圍應(yīng)用于各種后臺數(shù)據(jù)的分析。

大數(shù)據(jù)主要涉及的工作崗位數(shù)據(jù)分析師、數(shù)據(jù)架構(gòu)師、數(shù)據(jù)工程師，人工智能等方向，其中數(shù)據(jù)分析師主要是從事行業(yè)的數(shù)據(jù)、搜集、整理、分析、在針對這些數(shù)據(jù)進(jìn)行公司的發(fā)展的規(guī)劃作出評估，給出一個大概的發(fā)展趨勢。數(shù)據(jù)架構(gòu)師主要是創(chuàng)建數(shù)據(jù)管理系統(tǒng)，對數(shù)據(jù)庫管理系統(tǒng)進(jìn)行整合，集中，保護(hù)和維護(hù)數(shù)據(jù)源。數(shù)據(jù)工程師主要是做數(shù)據(jù)庫的開發(fā)，建設(shè)，測試和維護(hù)架構(gòu)。主要是應(yīng)用大數(shù)據(jù)進(jìn)行編寫和開發(fā)。用于較大規(guī)模的處理系統(tǒng)。人工智能主要是在人工智能機(jī)器人上有很大的用途。機(jī)器的開發(fā)、和數(shù)據(jù)的收集、統(tǒng)計(jì)上都有大數(shù)據(jù)的存在。

JAVA大數(shù)據(jù)

java大數(shù)據(jù)就如同表面上來看的一樣是java與大數(shù)據(jù)的結(jié)合。java作為一種輔助工具來輔助大數(shù)據(jù)的學(xué)習(xí)。java屬于純開發(fā)軟件，大數(shù)據(jù)是未來發(fā)展的一種趨勢。java大數(shù)據(jù)的出現(xiàn)把編程語言與大數(shù)據(jù)結(jié)合在一起，相對于java來講它比java找工作的方向會更多。java的只能找java方向的，但是java大數(shù)據(jù)的即可以找有關(guān)Java方向的工作又可以找大數(shù)據(jù)方向的。增加了未來學(xué)習(xí)大數(shù)據(jù)的人的就業(yè)機(jī)會。更加的好找工作。也可以把java大數(shù)據(jù)理解為java的升級版。

總而言之，java與大數(shù)據(jù)的最大區(qū)別就是一個是編程語言，更注重于開發(fā)；而大數(shù)據(jù)更重視數(shù)據(jù)的邏輯關(guān)系，更接近于實(shí)際應(yīng)用。就業(yè)方向來看，java相對于java大數(shù)據(jù)的就業(yè)方向更局限。大數(shù)據(jù)的可以找Java的工作也可以找大數(shù)據(jù)的工作。java只能找他自己的工作。選擇的方向更加的受限。但其實(shí)選擇則那個都是挺不錯的的一個發(fā)展方向。

我自己就是Java轉(zhuǎn)做大數(shù)據(jù)的，下面是我的建議:

Java是一門語言，20年前就誕生了，現(xiàn)在Java就業(yè)已經(jīng)十分飽和，競爭力很大，需要你不斷深入學(xué)習(xí)。

大數(shù)據(jù)是Java的一個應(yīng)用方向，只需要你掌握J(rèn)ava基礎(chǔ)，就可以轉(zhuǎn)行大數(shù)據(jù)，大數(shù)據(jù)人才是我們目前數(shù)據(jù)時代非常稀缺的人才，就算你現(xiàn)在做Java，以后也得轉(zhuǎn)大數(shù)據(jù)，因?yàn)槟阒挥卸舜髷?shù)據(jù)，你才能和數(shù)據(jù)時代接軌。

薪資方面，同等經(jīng)驗(yàn)薪資，目前大數(shù)據(jù)起碼是Java的2倍。

最近發(fā)現(xiàn)有些同學(xué)并不太了解大數(shù)據(jù)開發(fā)工程師這個職位，所以想簡單介紹一下什么是大數(shù)據(jù)開發(fā)工程師，當(dāng)前互聯(lián)網(wǎng)公司的數(shù)據(jù)開發(fā)到底是什么樣子的？和一般的Java或者PHP工程師在工作上有什么區(qū)別？

什么不是大數(shù)據(jù)開發(fā)？

僅使用數(shù)據(jù)庫（關(guān)系型mysql，sqlserver，oracle等 非關(guān)系型 mongo redis等），盡管數(shù)據(jù)量達(dá)到千萬級別，億級別不是大數(shù)據(jù)開發(fā)。

從業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫中查詢數(shù)據(jù)然后產(chǎn)出報(bào)表不是大數(shù)據(jù)開發(fā)。

端上（頁面，h5，手機(jī)native）埋點(diǎn)上報(bào)數(shù)據(jù)記錄到數(shù)據(jù)庫中不是大數(shù)據(jù)開發(fā)。

什么是大數(shù)據(jù)開發(fā)？

大數(shù)據(jù)開發(fā)需要的技能

到智聯(lián)上搜了一下大數(shù)據(jù)開發(fā)工程師這個職位，隨便點(diǎn)了幾個職位，截圖如下：

所以說，現(xiàn)在互聯(lián)網(wǎng)公司所指的大數(shù)據(jù)開發(fā)用到的工具是：hadoop，hive，hbase，spark，kafka等。

大數(shù)據(jù)開發(fā)做的事情

精簡到一個詞語就是：統(tǒng)計(jì)

精簡到兩類指標(biāo)就是：PV和UV

精簡到一句話就是：統(tǒng)計(jì)各種指標(biāo)的PV和UV

PC互聯(lián)網(wǎng)時代，各門戶網(wǎng)站（比如：新浪，網(wǎng)易，搜狐）關(guān)注的是各自網(wǎng)站今天被打開了幾次（pv），今天有多少人（uv）訪問了網(wǎng)站。更復(fù)雜一點(diǎn)的比如：

頁面上某個按鈕或者某個連接有多少人點(diǎn)擊了幾次

某個頁面上的熱力圖（點(diǎn)擊地方越多，圖上顏色越重）

移動互聯(lián)網(wǎng)時代，手機(jī)應(yīng)用被用戶打開的次數(shù)和人數(shù)也是大家關(guān)注的重點(diǎn)，但是除此之外還多出了許多其他非常重要的數(shù)據(jù)，由于手機(jī)屏幕的限制，信息流成為了移動時代的主流。

各大門戶網(wǎng)站非常關(guān)注自己的新聞客戶端中：在信息流中曝光了多少篇文章，其中有多少篇文章被用戶點(diǎn)擊了。每篇文章閱讀了長時間，因?yàn)橛脩酎c(diǎn)擊的文章越多，使用客戶端的時間越長，各公司的廣告收入才越高，所以各公司想方設(shè)法推薦用戶喜歡的內(nèi)容。

如何做這些事情

因?yàn)榫W(wǎng)站的瀏覽行為，手機(jī)客戶端中文章的曝光或者點(diǎn)擊這些數(shù)據(jù)非常大，基本以億為單位起。所以傳統(tǒng)的把統(tǒng)計(jì)信息放到數(shù)據(jù)庫中的方式已經(jīng)不能完成這項(xiàng)統(tǒng)計(jì)工作。（例如：wordpress博客中，用戶每閱讀一篇文章，mysql中就會更新這篇文章的閱讀次數(shù)+1）

所以大數(shù)據(jù)是通過日志來統(tǒng)計(jì)這些指標(biāo)。

比如：后臺服務(wù)的日志（apache，tomcat，weblogic，nginx日志）

例如下圖，我的個人網(wǎng)站apache服務(wù)的access日志。

日志的url字段中以 /年份（紅色部分）開頭行數(shù)就是這個網(wǎng)站文章頁被訪問的次數(shù)，以/category（藍(lán)色部分）開頭的行數(shù)就是這個網(wǎng)站分類目錄被訪問的次數(shù)。

當(dāng)然我的這份日志中是統(tǒng)計(jì)不了用戶數(shù)的，因?yàn)橛脩魯?shù)的統(tǒng)計(jì)需要在每條日志上記錄當(dāng)前用戶的唯一標(biāo)識，然后再做個去重，去重后的數(shù)量就是用戶數(shù)，但是這里沒有上報(bào)用戶的唯一標(biāo)識。

那如何統(tǒng)計(jì)人數(shù)呢，一般互聯(lián)網(wǎng)公司會自己在頁面或者客戶端上生成一個用戶的唯一標(biāo)識，然后主動上報(bào)到自己的日志服務(wù)器上。

大數(shù)據(jù)主要難點(diǎn)在于：

日志量太大（一般大點(diǎn)的互聯(lián)網(wǎng)公司，一個業(yè)務(wù)線每天的日志都有幾個t，再大些的每天幾十t，幾百t也不奇怪），需要掌握大數(shù)據(jù)相關(guān)技術(shù)例如前面提到的hadoop，hive等。

數(shù)據(jù)的及時性，從離線計(jì)算來說，一般每天零點(diǎn)，前一天的日志都接收完畢，開始計(jì)算前一天的數(shù)據(jù)，幾點(diǎn)能計(jì)算完畢？要看各個公司各自的要求。

數(shù)據(jù)的準(zhǔn)確性。（這是重中之重，大數(shù)據(jù)開發(fā)的工作就是統(tǒng)計(jì)，統(tǒng)計(jì)的數(shù)據(jù)如果不準(zhǔn)....）如果是實(shí)時計(jì)算，需要掌握實(shí)時相關(guān)技術(shù)。例如：每5分鐘網(wǎng)站的在線人數(shù)。

監(jiān)控監(jiān)控監(jiān)控：監(jiān)控任務(wù)是否失敗，數(shù)據(jù)是否產(chǎn)出，產(chǎn)出的數(shù)據(jù)是否異常。

容災(zāi)容災(zāi)容災(zāi)：如果任務(wù)失敗如何補(bǔ)救。比如實(shí)時任務(wù)，由于某種原因13:00到14:00的數(shù)據(jù)沒有，如何把數(shù)據(jù)補(bǔ)回來。

大數(shù)據(jù)開發(fā)和一般業(yè)務(wù)開發(fā)的對比

在轉(zhuǎn)做大數(shù)據(jù)開發(fā)之前，一直在用Java作業(yè)務(wù)系統(tǒng)： 例如hr系統(tǒng)（考勤，薪資等），收費(fèi)系統(tǒng)。

談?wù)勎覀€人對業(yè)務(wù)系統(tǒng)開發(fā)和大數(shù)據(jù)開發(fā)的理解：

業(yè)務(wù)系統(tǒng)：

一句話：對數(shù)據(jù)庫的各種增刪改查操作。

重點(diǎn)難點(diǎn)在于：

對復(fù)雜業(yè)務(wù)的理解上（比如計(jì)算工資：基本工資，五險(xiǎn)一金，全勤獎，高溫補(bǔ)貼，報(bào)銷，獎金，加班費(fèi).....等等都需要計(jì)算）。

線上服務(wù)的穩(wěn)定，比如facebook，淘寶等網(wǎng)站高并發(fā)的壓力下維持網(wǎng)站正常運(yùn)行。

大數(shù)據(jù)開發(fā)

一句話：對字符串的各種算數(shù)。

重難點(diǎn)在于：

數(shù)據(jù)的及時性。例如實(shí)時數(shù)據(jù)中，想知道 12:00~12:10這10分鐘的用戶數(shù)，如果這個數(shù)據(jù)在晚上20點(diǎn)才計(jì)算完成，那就沒什么意義了。再比如，大家應(yīng)該都有體驗(yàn)過：在手機(jī)上刷新聞的時候，你點(diǎn)了某一篇文章，再繼續(xù)刷新聞，后面很快會出來不少和前面點(diǎn)擊的那篇文章類似的文章，這就是根據(jù)你的點(diǎn)擊給你及時推薦你有更大可能點(diǎn)的東西。

數(shù)據(jù)的準(zhǔn)確性。這個重要性不言而喻

數(shù)據(jù)的穩(wěn)定性和容災(zāi)。

Java是一門面向?qū)ο缶幊陶Z言，大數(shù)據(jù)是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是一個概念性的東西。

大數(shù)據(jù)組件應(yīng)用分類：數(shù)據(jù)采集、實(shí)時處理、數(shù)據(jù)存儲、離線處理、交互式查詢、數(shù)據(jù)展現(xiàn)。

大數(shù)據(jù)需要學(xué)習(xí)的技術(shù)體系包含Hadoop、spark、kafka、Storm等，Java只是學(xué)習(xí)大數(shù)據(jù)技術(shù)需要的一個編程基礎(chǔ)。

相關(guān)：大數(shù)據(jù)全系技術(shù)概覽

https://www.toutiao.com/i6552825781175714308/

本人10年開發(fā)培訓(xùn)經(jīng)驗(yàn),期間經(jīng)歷了Java Web,Android,H5,大數(shù)據(jù),PHP等多個不同的方向的開發(fā),也做過軟件培訓(xùn)公司的金牌講師，很有興趣回答你這個問題。

對于大數(shù)據(jù)和Java語言的區(qū)別，我覺得還是很大的，有多大呢？可能就跟“建筑工人與樓房的區(qū)別”一樣，當(dāng)然這個比喻可能也不是很恰當(dāng)，大約就是這樣吧。

為啥這樣說呢？

大數(shù)據(jù)：

大數(shù)據(jù)確切的說，它并不能算一門具體的技術(shù)，而是一種概念，一種大的技術(shù)范疇。大數(shù)據(jù)主要是用來處理，分析，存儲海量數(shù)據(jù)，對這些大量的數(shù)據(jù)進(jìn)行加工處理等操作。大數(shù)據(jù)領(lǐng)域里面涉及到Hadoop，hive，flink，hbase，java等各種具體的技術(shù),看清楚，在這里Java也可以為大數(shù)據(jù)的實(shí)現(xiàn)提供服務(wù)哦。所以可以說，Java可以幫助我們實(shí)現(xiàn)大數(shù)據(jù)的開發(fā)，Java就像是一個“建筑工人"，它可以把各種數(shù)據(jù)原料整合在一起，構(gòu)建出大數(shù)據(jù)這么一個環(huán)境。

Java：

Java就是一門面向?qū)ο蟮母呒壘幊陶Z言，可以用Java實(shí)現(xiàn)Android，Web，Swing等各中軟件的開發(fā)，是一門具體的技術(shù)。

我從事互聯(lián)網(wǎng)開發(fā)10年，主要的研究方向集中在Java web微服務(wù)架構(gòu)領(lǐng)域,Android移動端研發(fā),HTML5前端方向，我會陸續(xù)寫一些關(guān)于互聯(lián)網(wǎng)技術(shù)方面的文章，感興趣的朋友可以關(guān)注我，相信你一定會有所收獲。

如果有Java,Android,H5等開發(fā)方面的問題，或者是開發(fā)求職方面的問題，都可以在評論區(qū)留言，或者私信我。

大數(shù)據(jù)是以Java開發(fā)為基礎(chǔ)的，大數(shù)據(jù)是處理各種形式的海量數(shù)據(jù)，Java是做開發(fā)的，軟件開發(fā)等，我是學(xué)的開發(fā)，在北京一家公司，薪資也還行，在中公學(xué)的，現(xiàn)在也還挺滿意，比以前薪資高很多

大數(shù)據(jù)無疑是目前IT領(lǐng)域的最受關(guān)注的熱詞之一。幾乎凡事都要掛上點(diǎn)大數(shù)據(jù)，否則就顯得你OUT了。如果再找一個可以跟大數(shù)據(jù)并駕齊驅(qū)的IT熱詞，Java無疑是跟大數(shù)據(jù)并駕齊驅(qū)的一個詞語。很多人在提到大數(shù)據(jù)的時候總會想到Java，那么Java與大數(shù)據(jù)到底是什么關(guān)系？兩者之間有什么區(qū)別呢？

Java是什么？

一提起Java，大家都不陌生，Java是一門高級的網(wǎng)絡(luò)編程語言，對于我們現(xiàn)在所用的軟件及APP都是后臺java編寫出來的，對于大數(shù)據(jù)來說java是一門基礎(chǔ)的工具類語言，Java語言具有功能強(qiáng)大和簡單易用兩個特征。Java語言作為靜態(tài)面向?qū)ο缶幊陶Z言的代表，極好地實(shí)現(xiàn)了面向?qū)ο罄碚?，允許程序員以優(yōu)雅的思維方式進(jìn)行復(fù)雜的編程。

Java和大數(shù)據(jù)是什么關(guān)系？

大數(shù)據(jù)框架的編寫支持很多開發(fā)語言，但是Java在大數(shù)據(jù)開發(fā)方面有很大的優(yōu)勢，目前流行的大數(shù)據(jù)Hadoop框架，很多部分都是用開源的Java語言編寫，因此Java在大數(shù)據(jù)方面有很大優(yōu)勢。在大數(shù)據(jù)的中，也許別的你可能不在意，但是Hadoop想必你是注意到了的吧，大數(shù)據(jù)中不得不學(xué)的重要內(nèi)容。

Java跟大數(shù)據(jù)的區(qū)別

1.架構(gòu)層面

Java體系:三層架構(gòu) 表現(xiàn)層（Web） 業(yè)務(wù)層(service) 持久層(Dao)

大數(shù)據(jù)體系：圍繞數(shù)據(jù) 數(shù)據(jù)采集（數(shù)據(jù)源） 數(shù)據(jù)存儲 數(shù)據(jù)計(jì)算（分析） 數(shù)據(jù)展示

2.技術(shù)層面

Java: 成熟 解決方案多 技術(shù)點(diǎn)集中

大數(shù)據(jù)：相對年輕 迭代更新快 解決方案相對少 技術(shù)相當(dāng)繁瑣 雜碎

3.開發(fā)層面

Java: 代碼量很大 偏向業(yè)務(wù) 運(yùn)維等任務(wù)相對較少 固定搭配、習(xí)慣用法較多

大數(shù)據(jù)：代碼量很少 偏向技術(shù)（原理 知識） 運(yùn)維任務(wù)略多（集群、服務(wù)器等）

4.市場層面

Java: 很成熟 有自己的行業(yè)規(guī)范 如日中天

大數(shù)據(jù)：市場起步階段 規(guī)范有待健全 朝陽產(chǎn)業(yè)（結(jié)合人工智能、機(jī)器學(xué)習(xí)等）

Hadoop 的創(chuàng)始人 Doug Cutting 曾說過：“ Java 在開發(fā)者的生產(chǎn)率和運(yùn)行效率之間取得很好的權(quán)衡。開發(fā)者可以使用廣泛存在的高質(zhì)量類庫，切身受益于這種簡潔、功能強(qiáng)大、類型安全的語言?！?

換言之：沒有Hadoop就不存在大數(shù)據(jù)，沒有Java就沒有Hadoop。

總結(jié)

大數(shù)據(jù)以Java技術(shù)為基礎(chǔ)，在熟練掌握了Java技術(shù)以后，再學(xué)習(xí)大數(shù)據(jù)的相關(guān)技術(shù)會容易很多。

千鋒武漢官網(wǎng)有很多Java大數(shù)據(jù)教學(xué)視頻，還有完整版學(xué)習(xí)路線，想學(xué)的小伙伴可以去下載學(xué)習(xí)試試。

大數(shù)據(jù)學(xué)名為BigData,是前幾年新興起的一個IT名詞，偏算法和實(shí)現(xiàn)，又分為工程類和應(yīng)用類。Java是一門開發(fā)語言，兩者本質(zhì)上并無直接可比較的地方。但大數(shù)據(jù)本身也有非常多的開發(fā)語言來支持，所以如果就開發(fā)語言和能力來比較又會產(chǎn)生非常多的方向性。下面給您詳細(xì)描述下各自的行業(yè)描述和對應(yīng)的細(xì)節(jié)。

大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計(jì)算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。它的特色在于對海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘。但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術(shù)。 隨著云時代的來臨，大數(shù)據(jù)（Big data）也吸引了越來越多的關(guān)注。分析師團(tuán)隊(duì)認(rèn)為，大數(shù)據(jù)（Big data）通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時會花費(fèi)過多時間和金錢。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。大數(shù)據(jù)需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過時間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫、數(shù)據(jù)挖掘、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計(jì)算平臺、互聯(lián)網(wǎng)和可擴(kuò)展的存儲系統(tǒng)。

大數(shù)據(jù)目前可以使用的平臺很多，而且廠商也很多，如Cloudera、ucloud的版本、Hadoop等。

Java是一門面向?qū)ο缶幊陶Z言，不僅吸收了C++語言的各種優(yōu)點(diǎn)，還摒棄了C++里難以理解的多繼承、指針等概念，因此Java語言具有功能強(qiáng)大和簡單易用兩個特征。Java語言作為靜態(tài)面向?qū)ο缶幊陶Z言的代表，極好地實(shí)現(xiàn)了面向?qū)ο罄碚?，允許程序員以優(yōu)雅的思維方式進(jìn)行復(fù)雜的編程 。Java具有簡單性、面向?qū)ο蟆⒎植际?、健壯性、安全性、平臺獨(dú)立與可移植性、多線程、動態(tài)性等特點(diǎn) 。Java可以編寫桌面應(yīng)用程序、Web應(yīng)用程序、分布式系統(tǒng)和嵌入式系統(tǒng)應(yīng)用程序等。

Java面向?qū)ο髮?shí)現(xiàn)便捷、快訊的開發(fā)方式，很受學(xué)生、工程師歡迎，目前很多高校、職業(yè)院校開展Java課程學(xué)習(xí)，同事隨著互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的發(fā)展，web、手機(jī)的開發(fā)更偏向輕便的Java語言。