成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

hbase讀寫原理

IT那活兒 / 1926人閱讀
hbase讀寫原理

點擊上方“IT那活兒”，關注后了解更多內容，不管IT什么活兒，干就完了?。?！



HBase讀流程
1. Client先訪問zookeeper，從meta表讀取region的位置，然后讀取meta表中的數(shù)據(jù)。meta中又存儲了用戶表的region信息；
2. 根據(jù)namespace、表名和rowkey在meta表中找到對應的region信息；
3. 找到這個region對應的regionserver；
4. 查找對應的region；
5. 先從MemStore找數(shù)據(jù)，如果沒有，再到BlockCache里面讀；
6. BlockCache還沒有，再到StoreFile上讀(為了讀取的效率)；
7. 如果是從StoreFile里面讀取的數(shù)據(jù)，不是直接返回給客戶端，而是先寫入BlockCache，再返回給客戶端。



HBase寫流程
1. Client向HregionServer發(fā)送寫請求；
2. HregionServer將數(shù)據(jù)寫到HLog（write ahead log）。為了數(shù)據(jù)的持久化和恢復；
3. HregionServer將數(shù)據(jù)寫到內存（MemStore）；
4. 反饋Client寫成功。



數(shù)據(jù)flush過程
1. 當MemStore數(shù)據(jù)達到閾值（默認是128M，老版本是64M），將數(shù)據(jù)刷到硬盤，將內存中的數(shù)據(jù)刪除，同時刪除HLog中的歷史數(shù)據(jù)；
2. 并將數(shù)據(jù)存儲到HDFS中；



數(shù)據(jù)合并過程
1. 當數(shù)據(jù)塊達到4塊，Hmaster將數(shù)據(jù)塊加載到本地，進行合并；
2. 當合并的數(shù)據(jù)超過256M，進行拆分，將拆分后的Region分配給不同的HregionServer管理；
3. 當HregionServer宕機后，將HregionServer上的hlog拆分，然后分配給不同的HregionServer加載，修改.META.；
4. 注意：HLog會同步到HDFS。



Hlog災難恢復應用
1. 背景：大數(shù)據(jù)hbase集群中regionserver大面積重啟。       
2. 現(xiàn)象：regionserver重啟后，前臺業(yè)務開始積壓，hbase產生大量GC。
3. 處理過程：把gc高積壓高的regionserver服務再次重啟，重啟幾次后發(fā)現(xiàn)積壓沒有任何改善，后觀察WAL log不斷跟新，后分析應該是regionserver重啟導致hlog日志在進行恢復，所以導致產生大量gc進而積壓了前端的業(yè)務。后決定暫時不對regionserver進行任何操作，持續(xù)觀察WAL log日志是否在跟新恢復。
4. 結果：大概兩個小時左右hlog災難恢復完成后觀察GC發(fā)現(xiàn)幾乎沒有gc前端業(yè)務也正常處理積壓沒有持續(xù)增長。



本文作者：徐 苗

本文來源：IT那活兒（上海新炬王翦團隊）

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://systransis.cn/yun/129543.html

相關文章

  • Apache Trafodion技術架構介紹

    摘要：它主要包括以下幾部分采用對文本進行文法分析，生成語法樹。對語法樹進一步進行分析，類似程序編譯器的語義分析，對語法合格的進一步進行檢查。優(yōu)化器對語法樹應用各種規(guī)則，生成不同的執(zhí)行計劃，形成一個搜索空間。 Trafodion簡介 Trafodion是一個構建在Hadoop/HBase基礎之上的關系型數(shù)據(jù)庫，它完全開源免費。Trafodion能夠完整地支持ANSI SQL，并且提供ACID事...

    DevYK 評論0 收藏0

  • Apache Trafodion技術架構介紹

    摘要：它主要包括以下幾部分采用對文本進行文法分析，生成語法樹。對語法樹進一步進行分析，類似程序編譯器的語義分析，對語法合格的進一步進行檢查。優(yōu)化器對語法樹應用各種規(guī)則，生成不同的執(zhí)行計劃，形成一個搜索空間。 Trafodion簡介 Trafodion是一個構建在Hadoop/HBase基礎之上的關系型數(shù)據(jù)庫，它完全開源免費。Trafodion能夠完整地支持ANSI SQL，并且提供ACID事...

    zhjx922 評論0 收藏0

  • HBase基礎

    摘要：回過頭來看關系數(shù)據(jù)庫，雖然每個表只有兩個維度，但可以通過表之間的關系來建立高維度屬性來描述事物。屬性識別屬性可以唯一的確定一條數(shù)據(jù)在關系數(shù)據(jù)庫中作為主鍵，在中作為。 HBase的讀寫流程設計 寫數(shù)據(jù)：先預寫日式WAL，和寫入內容MemStore。WAL用來在節(jié)點宕機后恢復寫入的數(shù)據(jù)。在MemStore寫滿后會寫入磁盤，生成一個新的HFile，一旦寫入不會再修改。一個列族有一個MemS...

    xfee 評論0 收藏0

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<