成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

Hbase基本介紹和讀寫流程

IT那活兒 / 3263人閱讀
Hbase基本介紹和讀寫流程
一. Hbase介紹

Hbase是建立的hdfs之上，提供高可靠性、高性能、列存儲、可伸縮、實(shí)時(shí)讀寫的數(shù)據(jù)庫系統(tǒng)。與hadoop一樣，Hbase目標(biāo)主要依靠橫向擴(kuò)展，通過不斷增加廉價(jià)的商用服務(wù)器，來增加計(jì)算和存儲能力。
HBase 中的表一般有這樣的特點(diǎn)：

  • ?大：一個(gè)表可以有上十億行，上百萬列；

  • 面向列：面向列(族)的存儲和權(quán)限控制，列(族)獨(dú)立檢索；

  • 稀疏: 對于為空(null)的列，并不占用存儲空間，因此，表可以設(shè)計(jì)的非常稀疏。


二. Hbase的角色

HBase角色：Hmaster、Regionserver

  • Hmaster作用

Hbase每時(shí)每刻只有一個(gè)HMaster主服務(wù)器程序在運(yùn)行，HMaster將region分配給RegionServer，協(xié)調(diào)RegionServer的負(fù)載并維護(hù)集群的狀態(tài)，Hmaster不會對外提供數(shù)據(jù)服務(wù)，而是由RegionServer負(fù)責(zé)所有regions的讀寫請求及操作。

  • Regionserver作用

負(fù)責(zé)存儲Hbase的實(shí)際數(shù)據(jù)維護(hù)HMaster分配給它的Hregion處理對這些HRegion的IO請求，也就是說客戶端直接和HRegionServer打交道。


三. Hbase的表結(jié)構(gòu)

  1. HBase Table的組成：
    Table=RowKey（行鍵）+Family（列族）+Column（列）+Timestamp（版本或時(shí)間戳）+Value（值）
  2. Hbase的表按key來進(jìn)行regions的分區(qū)
  3. 某個(gè)表的多個(gè)regions會分布在不同的regionserver上，以增加查詢速度
  4. 為增加寫入的性能，hbase表一般會進(jìn)行預(yù)分區(qū)。
HBase Table的組成：
Table=RowKey（行鍵）+Family（列族）+Column（列）+Timestamp（版本或時(shí)間戳）+Value（值）
Tips：Hbase表設(shè)計(jì)不建議使用太多列簇，一般業(yè)務(wù)建議3個(gè)以內(nèi)為佳。


四. Hbase的讀寫流程

HBase讀流程：

  1. Client客戶端先訪問zookeeper,獲取 meta 表位于哪個(gè)Region Server。
  2. 訪問meta 表對應(yīng)的region server服務(wù)器，根據(jù)請求的信息（namespace,table,rowkey)，查詢出目標(biāo)表位于哪個(gè)Region Server中的哪個(gè)region。并將該表的region信息，以及meta表的位置信息緩存在客戶端的緩存中，以便下次訪問。
  3. 與目標(biāo)表所在的region server 進(jìn)行通訊。
  4. 分別在Block Cache（讀緩存），MemStore和 Store File查詢目標(biāo)數(shù)據(jù)，并將查到的數(shù)據(jù)進(jìn)行合并，此處所有數(shù)據(jù)是指同一條數(shù)據(jù)的不同版本（time stamp）或者不同的類型。（Put/Delete）
  5. 將從文件中查詢到的數(shù)據(jù)塊緩存到block cache。
  6. 將合并后的數(shù)據(jù)返回給客戶端。


HBase寫流程：


  1. 客戶端先訪問zookeeper，獲取Meta表位于那個(gè)region server。

  2. 訪問Meta表對應(yīng)的region server服務(wù)器，根據(jù)請求的信息（namespace:table/rowkey）,在meta表中查詢出目標(biāo)數(shù)據(jù)位于哪個(gè)region server的哪個(gè)region中。并將該表的region信息以及meta表的位置信息緩存到客戶端的meta cache，方便下次訪問。

  3. 與目標(biāo)數(shù)據(jù)的region server進(jìn)行通訊。

  4. 將數(shù)據(jù)寫入到WAL中。

  5. 將數(shù)據(jù)寫入到對應(yīng)的memstore中。

  6. 向客戶端發(fā)送寫入成功的信息。

  7. 等達(dá)到memstore的刷寫時(shí)機(jī)后，將數(shù)據(jù)刷寫到HFILE中。


END


更多精彩干貨分享

點(diǎn)擊下方名片關(guān)注

IT那活兒

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/129847.html

相關(guān)文章

  • Apache Trafodion技術(shù)架構(gòu)介紹

    摘要：它主要包括以下幾部分采用對文本進(jìn)行文法分析，生成語法樹。對語法樹進(jìn)一步進(jìn)行分析，類似程序編譯器的語義分析，對語法合格的進(jìn)一步進(jìn)行檢查。優(yōu)化器對語法樹應(yīng)用各種規(guī)則，生成不同的執(zhí)行計(jì)劃，形成一個(gè)搜索空間。 Trafodion簡介 Trafodion是一個(gè)構(gòu)建在Hadoop/HBase基礎(chǔ)之上的關(guān)系型數(shù)據(jù)庫，它完全開源免費(fèi)。Trafodion能夠完整地支持ANSI SQL，并且提供ACID事...

    DevYK 評論0 收藏0

  • Apache Trafodion技術(shù)架構(gòu)介紹

    摘要：它主要包括以下幾部分采用對文本進(jìn)行文法分析，生成語法樹。對語法樹進(jìn)一步進(jìn)行分析，類似程序編譯器的語義分析，對語法合格的進(jìn)一步進(jìn)行檢查。優(yōu)化器對語法樹應(yīng)用各種規(guī)則，生成不同的執(zhí)行計(jì)劃，形成一個(gè)搜索空間。 Trafodion簡介 Trafodion是一個(gè)構(gòu)建在Hadoop/HBase基礎(chǔ)之上的關(guān)系型數(shù)據(jù)庫，它完全開源免費(fèi)。Trafodion能夠完整地支持ANSI SQL，并且提供ACID事...

    zhjx922 評論0 收藏0

發(fā)表評論

0條評論

最新活動(dòng)
閱讀需要支付1元查看
<