Derek解讀Bytom源碼-持久化存儲LevelDB

Eminjannn 發(fā)布于2019-06-27 18:40 / 808人閱讀

摘要：函數(shù)總共操作有兩步從緩存中查詢值，如果查到則返回如果為從緩存中查詢到則回調(diào)回調(diào)函數(shù)?；卣{(diào)函數(shù)會將從磁盤上獲得到塊信息存儲到緩存中并返回該塊的信息?；卣{(diào)函數(shù)實(shí)際上調(diào)取的是下的，它會從磁盤中獲取信息并返回。

作者：Derek

簡介

Github地址：https://github.com/Bytom/bytom

Gitee地址：https://gitee.com/BytomBlockc...

本章介紹Derek解讀-Bytom源碼分析-持久化存儲LevelDB

作者使用MacOS操作系統(tǒng)，其他平臺也大同小異

Golang Version: 1.8

LevelDB介紹

比原鏈默認(rèn)使用leveldb數(shù)據(jù)庫。Leveldb是一個google實(shí)現(xiàn)的非常高效的kv數(shù)據(jù)庫。LevelDB是單進(jìn)程的服務(wù)，性能非常之高，在一臺4核Q6600的CPU機(jī)器上，每秒鐘寫數(shù)據(jù)超過40w，而隨機(jī)讀的性能每秒鐘超過10w。

由于Leveldb是單進(jìn)程服務(wù)，不能同時有多個進(jìn)程進(jìn)行對一個數(shù)據(jù)庫進(jìn)行讀寫。同一時間只能有一個進(jìn)程，或一個進(jìn)程多并發(fā)的方式進(jìn)行讀寫。

比原鏈在數(shù)據(jù)存儲層上存儲所有鏈上地址、資產(chǎn)交易等信息。

LevelDB的增刪改查操作

LevelDB是google開發(fā)的一個高性能K/V存儲，本節(jié)我們介紹下LevelDB如何對LevelDB增刪改查。

package main

import (
    "fmt"

    dbm "github.com/tendermint/tmlibs/db"
)

var (
    Key        = "TESTKEY"
    LevelDBDir = "/tmp/data"
)

func main() {
    db := dbm.NewDB("test", "leveldb", LevelDBDir)
    defer db.Close()

    db.Set([]byte(Key), []byte("This is a test."))

    value := db.Get([]byte(Key))
    if value == nil {
        return
    }
    fmt.Printf("key:%v, value:%v
", Key, string(value))

    db.Delete([]byte(Key))
}

// Output
// key:TESTKEY, value:This is a test.

以上Output是執(zhí)行該程序得到的輸出結(jié)果。

該程序?qū)eveld進(jìn)行了增刪改查操作。dbm.NewDB得到db對象，在/tmp/data目錄下會生成一個叫test.db的目錄。該目錄存放該數(shù)據(jù)庫的所有數(shù)據(jù)。
db.Set 設(shè)置key的value值，key不存在則新建，key存在則修改。
db.Get 得到key中value數(shù)據(jù)。
db.Delete 刪除key及value的數(shù)據(jù)。

比原鏈的數(shù)據(jù)庫

默認(rèn)情況下，數(shù)據(jù)存儲目錄在--home參數(shù)下的data目錄。以Darwin平臺為例，默認(rèn)數(shù)據(jù)庫存儲在 $HOME/Library/Bytom/data。

accesstoken.db token信息(錢包訪問控制權(quán)限)
core.db 核心數(shù)據(jù)庫，存儲主鏈相關(guān)數(shù)據(jù)。包括塊信息、交易信息、資產(chǎn)信息等
discover.db 分布式網(wǎng)絡(luò)中端到端的節(jié)點(diǎn)信息

trusthistory.db
txdb.db 存儲交易相關(guān)信息
txfeeds.db 目前比原鏈代碼版本未使用該功能，暫不介紹
wallet.db 本地錢包數(shù)據(jù)庫。存儲用戶、資產(chǎn)、交易、utox等信息

以上所有數(shù)據(jù)庫都由database模塊管理

比原數(shù)據(jù)庫接口

在比原鏈中數(shù)據(jù)持久化存儲由database模塊管理，但是持久化相關(guān)接口在protocol/store.go中

type Store interface {
    BlockExist(*bc.Hash) bool

    GetBlock(*bc.Hash) (*types.Block, error)
    GetStoreStatus() *BlockStoreState
    GetTransactionStatus(*bc.Hash) (*bc.TransactionStatus, error)
    GetTransactionsUtxo(*state.UtxoViewpoint, []*bc.Tx) error
    GetUtxo(*bc.Hash) (*storage.UtxoEntry, error)

    LoadBlockIndex() (*state.BlockIndex, error)
    SaveBlock(*types.Block, *bc.TransactionStatus) error
    SaveChainStatus(*state.BlockNode, *state.UtxoViewpoint) error
}

BlockExist 根據(jù)hash判斷區(qū)塊是否存在

GetBlock 根據(jù)hash獲取該區(qū)塊

GetStoreStatus 獲取store的存儲狀態(tài)

GetTransactionStatus 根據(jù)hash獲取該塊中所有交易的狀態(tài)

GetTransactionsUtxo 緩存與輸入txs相關(guān)的所有utxo

GetUtxo(*bc.Hash) 根據(jù)hash獲取該塊內(nèi)的所有utxo

LoadBlockIndex 加載塊索引，從db中讀取所有block header信息并緩存在內(nèi)存中

SaveBlock 存儲塊和交易狀態(tài)

SaveChainStatus 設(shè)置主鏈的狀態(tài)，當(dāng)節(jié)點(diǎn)第一次啟動時，節(jié)點(diǎn)會根據(jù)key為blockStore的內(nèi)容判斷是否初始化主鏈。

比原鏈數(shù)據(jù)庫key前綴

database/leveldb/store.go

var (
    blockStoreKey     = []byte("blockStore")
    blockPrefix       = []byte("B:")
    blockHeaderPrefix = []byte("BH:")
    txStatusPrefix    = []byte("BTS:")
)

blockStoreKey 主鏈狀態(tài)前綴

blockPrefix 塊信息前綴

blockHeaderPrefix 塊頭信息前綴

txStatusPrefix 交易狀態(tài)前綴

GetBlock查詢塊過程分析

database/leveldb/store.go

func (s *Store) GetBlock(hash *bc.Hash) (*types.Block, error) {
    return s.cache.lookup(hash)
}

database/leveldb/cache.go

func (c *blockCache) lookup(hash *bc.Hash) (*types.Block, error) {
    if b, ok := c.get(hash); ok {
        return b, nil
    }

    block, err := c.single.Do(hash.String(), func() (interface{}, error) {
        b := c.fillFn(hash)
        if b == nil {
            return nil, fmt.Errorf("There are no block with given hash %s", hash.String())
        }

        c.add(b)
        return b, nil
    })
    if err != nil {
        return nil, err
    }
    return block.(*types.Block), nil
}

GetBlock函數(shù)最終會執(zhí)行l(wèi)ookup函數(shù)。lookup函數(shù)總共操作有兩步：

從緩存中查詢hash值，如果查到則返回

如果為從緩存中查詢到則回調(diào)fillFn回調(diào)函數(shù)。fillFn回調(diào)函數(shù)會將從磁盤上獲得到塊信息存儲到緩存中并返回該塊的信息。

fillFn回調(diào)函數(shù)實(shí)際上調(diào)取的是database/leveldb/store.go下的GetBlock，它會從磁盤中獲取block信息并返回。

云服務(wù)器 GPU云服務(wù)器源碼解讀 webrtc源碼解讀 webrtc fec源碼解讀 js v8源碼解讀

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/24257.html

發(fā)表評論

登陸后可評論

0條評論

Eminjannn

男|高級講師

我要關(guān)注我要私信

TA的文章

面試題39：數(shù)組中出現(xiàn)次數(shù)超過一半的數(shù)字

閱讀 1430·2021-11-15 11:38
SpartanHost：西雅圖AMD Ryzen/E5系列大量補(bǔ)貨,10Gbps端口高防主機(jī)$3.5

閱讀 3580·2021-11-09 09:47
蘋果新推出的iCloud私有中繼服務(wù)存在缺陷可泄露用戶真實(shí)IP地址

閱讀 1979·2021-09-27 13:36
云主機(jī)可以干什么-云主機(jī)能做什么？

閱讀 3226·2021-09-22 15:17
用 Java 寫個塔防游戲「GitHub 熱點(diǎn)速覽 v.21.37」

閱讀 2563·2021-09-13 10:27
flex布局示例代碼一

閱讀 2874·2019-08-30 15:44
如何將 JSON, Text, XML, CSV 數(shù)據(jù)文件導(dǎo)入 MySQL

閱讀 1189·2019-08-27 10:53
使用less-loader與antd按需加載(babel-plugin-import)的坑

閱讀 2718·2019-08-26 14:00

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

Derek解讀Bytom源碼-持久化存儲LevelDB

相關(guān)文章

***Derek解讀Bytom源碼分析-持久化存儲LevelDB***

Derek解讀Bytom源碼-創(chuàng)世區(qū)塊

Derek解讀Bytom源碼-啟動與停止

Derek解讀Bytom源碼-Api Server接口服務(wù)

Derek解讀Bytom源碼-P2P網(wǎng)絡(luò) 地址簿

發(fā)表評論

0條評論

Eminjannn

男|高級講師

TA的文章

面試題39：數(shù)組中出現(xiàn)次數(shù)超過一半的數(shù)字

SpartanHost：西雅圖AMD Ryzen/E5系列大量補(bǔ)貨,10Gbps端口高防主機(jī)$3.5

蘋果新推出的iCloud私有中繼服務(wù)存在缺陷可泄露用戶真實(shí)IP地址

云主機(jī)可以干什么-云主機(jī)能做什么？

用 Java 寫個塔防游戲「GitHub 熱點(diǎn)速覽 v.21.37」

flex布局示例代碼一

如何將 JSON, Text, XML, CSV 數(shù)據(jù)文件導(dǎo)入 MySQL

使用less-loader與antd按需加載(babel-plugin-import)的坑

最新活動

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

Derek解讀Bytom源碼-持久化存儲LevelDB

相關(guān)文章

發(fā)表評論

0條評論

男|高級講師

TA的文章

最新活動

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！