摘要：支持解決方案規(guī)模的快速有效擴(kuò)大，使不斷增長(zhǎng)的容量速度以及多樣的數(shù)據(jù)能夠得到快速的處理。谷歌的解決方案使用一種稱為的算法谷歌解決了這個(gè)問(wèn)題。使用谷歌提供的解決方案，和他的團(tuán)隊(duì)開(kāi)發(fā)了一個(gè)開(kāi)源項(xiàng)目叫做。

如今有很多公司都在努力挖掘他們擁有的大量數(shù)據(jù)，包括結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化以及二進(jìn)制數(shù)據(jù)等，來(lái)探索對(duì)數(shù)據(jù)的深入利用。
大多數(shù)公司估計(jì)他們只分析了已有數(shù)據(jù)的12%，剩余88%還沒(méi)有被充分利用。大量的數(shù)據(jù)孤島和分析能力的缺乏是造成這種局面的主要原因。另外一個(gè)難題是如何判斷數(shù)據(jù)是否有價(jià)值。尤其是在大數(shù)據(jù)時(shí)代，為了避免數(shù)據(jù)丟失你必須采集并存儲(chǔ)這些數(shù)據(jù)。一些看起來(lái)與業(yè)務(wù)無(wú)關(guān)的數(shù)據(jù)，如手機(jī)GPS數(shù)據(jù)，將來(lái)也可能會(huì)有大用處。
所以，大量公司都寄希望于使用Hadoop解決如下難題：
采集并存儲(chǔ)與公司業(yè)務(wù)職能相關(guān)的所有數(shù)據(jù)。支撐先進(jìn)的分析功能，包括商業(yè)智能，采用現(xiàn)代方式對(duì)數(shù)據(jù)進(jìn)行先進(jìn)的可視化和預(yù)測(cè)性分析。將數(shù)據(jù)快速分享給所需之人。整合多個(gè)數(shù)據(jù)孤島來(lái)解答以前根本沒(méi)人提過(guò)，甚至是未知的復(fù)雜問(wèn)題。Hadoop支持解決方案規(guī)模的快速、有效擴(kuò)大，使不斷增長(zhǎng)的容量、速度以及多樣的數(shù)據(jù)能夠得到快速的處理。
如今Hadoop的購(gòu)買周期正處于上升階段，因此在該領(lǐng)域催生了越來(lái)越多的廠商。盡管Hadoop是Apache的開(kāi)源項(xiàng)目，任何人都可以免費(fèi)下載，但大多數(shù)消費(fèi)者還是傾向于采用廠商的打包方案。除了將所有的Hadoop組件打包并保證其能正常使用（兼容版本）之外，廠商一般還會(huì)提供企業(yè)級(jí)支持和擴(kuò)展：以Apache Hadoop（HDFS）作為方案的核心組件，搭配額外實(shí)現(xiàn)增強(qiáng)Hadoop的功能，并增加差異化功能使其解決方案更具吸引力。
在大數(shù)據(jù)Hadoop解決方案評(píng)測(cè)中，廠商有Amazon Web Services、Cloudera、Hortonworks、IBM、MapR科技、華為和大快搜索。這些廠商都是基于Apache開(kāi)源項(xiàng)目，然后增加打包、支持、集成等特性以及自己的創(chuàng)新等內(nèi)容以彌補(bǔ)Hadoop在企業(yè)中的短板。所有廠商都實(shí)現(xiàn)了這些功能，盡管方式略有不同——從各廠商的評(píng)測(cè)得分和廠商資料可見(jiàn)一斑。
大快大數(shù)據(jù)平臺(tái)（DKH）,是大快搜索為了打通大數(shù)據(jù)生態(tài)系統(tǒng)與傳統(tǒng)非大數(shù)據(jù)公司之間的通道而設(shè)計(jì)的一站式搜索引擎級(jí)，大數(shù)據(jù)通用計(jì)算平臺(tái)。傳統(tǒng)公司通過(guò)使用DKH，可以輕松的跨越大數(shù)據(jù)的技術(shù)鴻溝，實(shí)現(xiàn)搜索引擎級(jí)的大數(shù)據(jù)平臺(tái)性能。
? DKH，有效的集成了整個(gè)HADOOP生態(tài)系統(tǒng)的全部組件，并深度優(yōu)化，重新編譯為一個(gè)完整的更高性能的大數(shù)據(jù)通用計(jì)算平臺(tái)，實(shí)現(xiàn)了各部件的有機(jī)協(xié)調(diào)。因此DKH相比開(kāi)源的大數(shù)據(jù)平臺(tái)，在計(jì)算性能上有了高達(dá)5倍（最大）的性能提升。

? DKH，更是通過(guò)大快獨(dú)有的中間件技術(shù)，將復(fù)雜的大數(shù)據(jù)集群配置簡(jiǎn)化至三種節(jié)點(diǎn)（主節(jié)點(diǎn)、管理節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)），極大的簡(jiǎn)化了集群的管理運(yùn)維，增強(qiáng)了集群的高可用性、高可維護(hù)性、高穩(wěn)定性。
? DKH，雖然進(jìn)行了高度的整合，但是仍然保持了開(kāi)源系統(tǒng)的全部?jī)?yōu)點(diǎn)，并與開(kāi)源系統(tǒng)100%兼容，基于開(kāi)源平臺(tái)開(kāi)發(fā)的大數(shù)據(jù)應(yīng)用，無(wú)需經(jīng)過(guò)任何改動(dòng)，即可在DKH上高效運(yùn)行，并且性能會(huì)有最高5倍的提升。
傳統(tǒng)的企業(yè)方法
在這種方法中，一個(gè)企業(yè)將有一個(gè)計(jì)算機(jī)存儲(chǔ)和處理大數(shù)據(jù)。對(duì)于存儲(chǔ)而言，程序員會(huì)自己選擇的數(shù)據(jù)庫(kù)廠商，如Oracle，IBM等的幫助下完成，用戶交互使用應(yīng)用程序進(jìn)而獲取并處理數(shù)據(jù)存儲(chǔ)和分析。

局限性
這種方式能完美地處理那些可以由標(biāo)準(zhǔn)的數(shù)據(jù)庫(kù)服務(wù)器來(lái)存儲(chǔ)，或直至處理數(shù)據(jù)的處理器的限制少的大量數(shù)據(jù)應(yīng)用程序。但是，當(dāng)涉及到處理大量的可伸縮數(shù)據(jù)，這是一個(gè)繁忙的任務(wù)，只能通過(guò)單一的數(shù)據(jù)庫(kù)瓶頸來(lái)處理這些數(shù)據(jù)。
谷歌的解決方案

 使用一種稱為MapReduce的算法谷歌解決了這個(gè)問(wèn)題。這個(gè)算法將任務(wù)分成小份，并將它們分配到多臺(tái)計(jì)算機(jī)，并且從這些機(jī)器收集結(jié)果并綜合，形成了結(jié)果數(shù)據(jù)集。

Hadoop

    使用谷歌提供的解決方案，DougCutting和他的團(tuán)隊(duì)開(kāi)發(fā)了一個(gè)開(kāi)源項(xiàng)目叫做HADOOP。

Hadoop使用的MapReduce算法運(yùn)行，其中數(shù)據(jù)在使用其他并行處理的應(yīng)用程序?？傊?，Hadoop用于開(kāi)發(fā)可以執(zhí)行完整的統(tǒng)計(jì)分析大數(shù)據(jù)的應(yīng)用程序。