摘要：宋體云端運算與內(nèi)存數(shù)據(jù)庫革命性技術(shù)值得關(guān)注宋體被點名為革命性技術(shù)的第二梯隊注預估年發(fā)酵者，則包含了兩項，分別是云端運算內(nèi)存數(shù)據(jù)庫系統(tǒng)。宋體云端技術(shù)對于大數(shù)據(jù)處理與分析的重要性，著實無庸置疑。

前兩天有人在微博發(fā)問，用什么樣的方式講述大數(shù)據(jù)和云計算才能非專業(yè)人士聽的更清楚，其實關(guān)于大數(shù)據(jù)的案例有很多，商業(yè)智能分析也多次提到過關(guān)于數(shù)據(jù)挖掘的價值和意義，只不過在今天看數(shù)據(jù)比以前還多而已，大數(shù)據(jù)并不可怕，可怕的是他的實時分析能力，會讓缺點和真相赤裸裸暴露在人們面前，那么當云計算遭遇大數(shù)據(jù)一股腦向企業(yè)涌進的時候，企業(yè)能否駕馭呢？

　　所謂的大數(shù)據(jù)主要涵蓋3V面向，分別是處理時效（Velocity）、數(shù)據(jù)格式（Variety）與數(shù)據(jù)量（Volume）；所以大數(shù)據(jù)并非單一技術(shù)，而是眾多技術(shù)項目的集合體，它們的共同目的，都是在一定時間內(nèi)處理完大量的結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。唯有駕馭個中關(guān)鍵技術(shù)，方能分析處理大數(shù)據(jù)，建立商業(yè)應用價值。

　　繼續(xù)訴說Wal-Mart比父親更早知道女兒懷孕的故事。2012年初的某一天，美國明尼蘇達州有一名父親，怒氣沖沖跑到賣場并質(zhì)問主管，為何將帶有嬰兒用品優(yōu)惠券的廣告郵件，寄送給他正在念高中的女兒？此舉是否鼓勵未成年女生懷孕？

　　然而后來事實證明，這名父親的女兒果真懷孕，賣場并非憑空亂灑廣告郵件。人們不禁好奇，Wal-Mart何以如此神通廣大，竟然能夠隔空挖掘真相？答案就在于大數(shù)據(jù)的實時分析，包括這名女孩搜尋商品的關(guān)鍵詞詞，以及在社交網(wǎng)站所顯露的行為軌跡，其實都已蘊藏豐富價值，足以表明她懷孕的事實，而接下來的時間，她最需要采購哪些商品，答案便呼之欲出。

　　由此可見，倘若善用巨量資料實時性分析，這些看似枯燥瑣碎的資料，立即就能蛻變?yōu)轲埜粌r值的資產(chǎn)，造就無窮無盡的商機。它可以幫助精品服飾業(yè)者，快速洞察顧客的喜好變化，立即形成較佳的生產(chǎn)銷售決策，繼而創(chuàng)造源源不斷的營收增長動能；它可以幫助投信業(yè)者，從Tweets中分析大眾的情緒變化，藉以提高股市行情預測的精準度，創(chuàng)造遠遠優(yōu)于同業(yè)的基金投資報酬率。

　　也難怪各方都對巨量資料趨之若鶩，譬如美國歐巴馬政府即在2012年3月間做成決定，此后將投入高達2億美元的研究與開發(fā)經(jīng)費，藉以改善巨量資料時代中，所需之開發(fā)、搜集、儲存、管理、分享與分析工具與技術(shù)，以期利用這些技術(shù)加速科學及工程上的發(fā)現(xiàn)腳步、強化國家安全，并改善相關(guān)的教育及學習模式。

　　大數(shù)據(jù)到底是個“神馬”東西

　　的確，雖然這些神乎其技的大數(shù)據(jù)應用，無不讓企業(yè)心生向往，然而多數(shù)IT主管卻對于個中技術(shù)一半未解，導致影響所屬企業(yè)商業(yè)價值的產(chǎn)出，殊為可惜。

　　究竟企業(yè)如何基于大數(shù)據(jù)的分析與應用需求，提高其技術(shù)整備度？知名研究機構(gòu)Gartner在其發(fā)表的“Hype Cycle for Big Data”當中所呈現(xiàn)的巨量資料優(yōu)先矩陣（Priority Matrix for Big Data），即已針對眾多技術(shù)今后的興衰浮沉，進行大致的預測；如此一來，哪些技術(shù)被定位為“革命性（Transformational）”,亟需密切留意，哪些技術(shù)處于高度（High）發(fā)展的軌道，值得善加運用，而哪些技術(shù)大抵維持中度（Moderate）發(fā)展格局，未來大起的機會不高，若要為此挹注大量投資，恐需再三思考，企業(yè)IT人員心中即有基本的譜圖與脈絡。

　　根據(jù)Gartner預測，從現(xiàn)在起的兩年之內(nèi)，率先達到革命性等級的技術(shù)，便是字段式數(shù)據(jù)庫（Column Store-DBMS），將呈現(xiàn)高度發(fā)展者，則為預測分析技術(shù)，至于社交媒體監(jiān)控、Web分析等技術(shù)，發(fā)展狀況持平。如此觀之，舉凡字段式數(shù)據(jù)庫、預測分析，將會是企業(yè)亟需優(yōu)先布局的標的。

　　探究字段式數(shù)據(jù)庫之所以搶得頭香，其實并不難理解，因為對于數(shù)據(jù)擷取、保存、使用、分享與分析等用途而言，數(shù)據(jù)庫系統(tǒng)皆堪稱是最關(guān)鍵的載體，因此其面對大數(shù)據(jù)的讀寫效率、及近實時（Near Real-Time）運算能力的強弱，肯定需要審慎考慮；在此情況下，傳統(tǒng)以Row為索引存取基礎的數(shù)據(jù)庫，效能顯然不彰，無法承擔因大數(shù)據(jù)而衍生的大量工作負載（Work Load），倘若不為此做改變，后頭的進階型分析應用，可說連想都不必再想了。

　　當然，隨著Hadoop大行其道，連帶使得諸如BigTable、HBase或Cassandra等Key-Value數(shù)據(jù)庫開始抬頭，這些可被統(tǒng)稱為“NoSQL”的數(shù)據(jù)庫，不論是Key-Value Database、In-memory Database、Graph Database或Document Database,都有別傳統(tǒng)關(guān)系數(shù)據(jù)庫結(jié)構(gòu)，似乎都更將貼近大數(shù)據(jù)的處理需求，既然如此，何不直接采用NoSQL數(shù)據(jù)庫、而非字段式數(shù)據(jù)庫？

　　事實上，NoSQL另一層意涵為“Not Only SQL”,旨在補現(xiàn)有SQL之不足，而非取代SQL,企業(yè)宜先從數(shù)據(jù)庫I/O需求、Schema Free需求、單一數(shù)據(jù)表的儲存需求…等不同面向，徹底檢視其于處理大數(shù)據(jù)的過程中，究竟可能面臨哪些難題，而這些難題，哪些是SQL可以解決的、哪些又是SQL所不能解決的，莫要為了追求時髦而時髦；如此看來，字段式數(shù)據(jù)庫被企業(yè)所倚賴的空間，確實十分寬廣，最起碼，它對于數(shù)據(jù)的讀取效能，肯定比NoSQL數(shù)據(jù)庫強大許多。

　　云端運算與內(nèi)存數(shù)據(jù)庫 革命性技術(shù)值得關(guān)注

　　被Gartner點名為革命性技術(shù)的“第二梯隊”（注：預估2~5年發(fā)酵）者，則包含了兩項，分別是云端運算、內(nèi)存數(shù)據(jù)庫系統(tǒng)（In-Memory DBMS）。

　　至于同樣落在2~5年區(qū)間的高度發(fā)展技術(shù)，項目就相當繁多，包括先進的詐欺偵測暨分析技術(shù)、以云端為基礎的網(wǎng)格運算、數(shù)據(jù)科學家、內(nèi)存分析（In-Memory Analytics）、內(nèi)存數(shù)據(jù)網(wǎng)格（In-Memory Data Grids）、政府公開數(shù)據(jù)（Open Government Data）、預測模型解決方案（Predictive Modeling Solutions）、社交分析（Social Analytics）、社交內(nèi)容（Social Content），以及文本金分析（Text Analytics）。

　　云端技術(shù)對于大數(shù)據(jù)處理與分析的重要性，著實無庸置疑。先從私有云角度來看，要想透過不管是MPI或MapReduce進行大數(shù)據(jù)的分布式計算，都需奠基于計算、儲存或網(wǎng)絡等資源的靈活調(diào)度，值此時刻，若舍棄云端，似乎就唯有斥巨資部署超級計算機一途了。

　　其次談到公有云。盡管各行各業(yè)都可因大數(shù)據(jù)分析而獲益，但多數(shù)應用場域，其實并非無時無刻都需要做分析，使用頻率甚至長達每季一次、或每半年一次；在此前提下，企業(yè)若僅為了并非實時性的巨量資料分析，因而投注大量人力、物力與時間等成本建構(gòu)Hadoop環(huán)境，投資報酬率似乎不太劃算，的確值得商榷。

　　此時此刻，企業(yè)若能以彈性付費的方式，向公有云服務供貨商，租賃大數(shù)據(jù)分析所需之計算資源，且能比照內(nèi)部On-Premise管理規(guī)則進行相關(guān)設定，實在稱得上是美事一樁。以微軟為例，即在Windows Azure公有云端平臺上提供Hadoop租用服務，讓企業(yè)無需投資布建大量服務器及數(shù)據(jù)庫，便可隨需推動大數(shù)據(jù)運算任務，甚至標榜能將 Windows與SQL Server方便管理的特性帶到Hadoop環(huán)境，便是相當?shù)湫偷脑贫薆ig Data服務。

　　至于內(nèi)存數(shù)據(jù)庫，即是將關(guān)系數(shù)據(jù)庫、甚至是字段式數(shù)據(jù)庫，整個置于內(nèi)存之中，這般做法的好處是，以往最讓人詬病的磁盤I/O瓶頸，即可聲應而破，從而大幅提振效能、縮短數(shù)據(jù)庫作業(yè)的響應時間；身處現(xiàn)今凡事講究超速的時代，企業(yè)若能更快獲致商業(yè)運算結(jié)果，也意謂其獲得勝利的可能性愈大。

　　所以大家不難發(fā)現(xiàn)，當內(nèi)存數(shù)據(jù)庫被Gartner預期會在2~5年成為革命性技術(shù)的同時，“In-Memory”這個字眼仍在高度發(fā)展技術(shù)象限中反復出現(xiàn)，包括內(nèi)存分析、內(nèi)存數(shù)據(jù)網(wǎng)格等，也就充分凸顯出，“效能”對于大數(shù)據(jù)處理，實在太過重要，而效能表現(xiàn)的強弱，甚至對于最終商業(yè)應用的績效影響至巨。

　　另值得一提的，在Gartner點名會在2~5年轉(zhuǎn)為“中度發(fā)展”的技術(shù)名單中，其間不乏是近來非常熱門的項目，譬如MapReduce、NoSQL數(shù)據(jù)庫、數(shù)據(jù)庫SaaS（Database Software as a Service;dbSaaS），此一看似將由熱轉(zhuǎn)冷的發(fā)展趨勢，亦值得企業(yè)保持關(guān)注。