一个全新的 kv 存储引擎有了想法之后便是引擎验证

2024-06-30 19:43:10 [百科] 来源：避面尹邢网

一个全新的个全 kv 存储引擎-LotusDB

作者：roseduan 2022-03-21 08:49:01存储存储架构有了 rosedb 在 bitcask 模型上的实践之后，以及自己在存储这方面的存储一些经验积累，去年底的引擎时候，在上班路上突然想到的个全一个 idea，让我有了做一个新的存储 kv 存储引擎的想法。

经历了大概 4 个月的引擎打磨，LotusDB 的个全第一个 release 版本终于发布了，我看了下，存储有 200 多次 commit(接近 rosedb 一年多的引擎 commit 次数了)。

一个全新的 kv 存储引擎有了想法之后便是引擎验证

项目地址：https://github.com/flower-corp/lotusdb

一个全新的 kv 存储引擎有了想法之后便是引擎验证

有了 rosedb 在 bitcask 模型上的个全实践之后，以及自己在存储这方面的存储一些经验积累，去年底的引擎时候，在上班路上突然想到的个全一个 idea，让我有了做一个新的存储 kv 存储引擎的想法。

一个全新的 kv 存储引擎有了想法之后便是引擎验证

有了想法之后便是引擎验证，因为其实心里还是没谱，我又在 Github 上翻了翻，并没有同类型的实现。后来又找一些大佬沟通了下，证明我的想法是可行的。

这期间还发现了 Usenix Fast 上的一篇关于优化 LSM 的论文，发现论文的内容跟我的 idea 非常类似，这算是又多了一个理论依据，于是便决定开干了。

众所周知，数据存储引擎，目前最主流的两种模型是 B+ 树和 LSM 树，B+ 树在关系型数据库例如 Mysql 中应用比较广泛，而 LSM 的典型代表 rocksdb 也是大多数分布式系统数据落盘的首选。

B+ 树读性能稳定，而 LSM 写吞吐高，LotusDB 在这基础上做了一个巨大的改动，就是完全舍弃掉 LSM 中的 SST 文件，改由 B+ 树来存储索引，而 value 存放则参考了 Wisckey 和 bitcask 模型的设计，存储到单独的 value log 文件中。

LotusDB 是对 LSM 和 B+ 树的优势结合，目前并没有同类型的实现，我们应该是第一个吃螃蟹的人。

LotusDB 的架构图如下：

前台的写入和 LSM 完全一致，先写 wal 再写 memtable。

而读取则会从 memtable 开始，如果 memtable 找到了，直接返回;没找到的话则从 B+ 树中查询索引，然后根据索引信息到 value log 中获取 value。

大家可以先了解个大概，后续我会出一个完整的《LotusDB 设计与实现》系列文章，全面解析 LotusDB 的架构细节以及代码实现，目前已经写了几篇待发布，欢迎关注公众号的后续更新：

再来看看 LotusDB 提供的一些基本接口，目前实现了基础的 Put、Get、Delete 接口，并且支持 Column Family(借鉴于 rocksdb)，以及 value log 的自动 GC 回收。

简单的使用方法如下：

package main

import (
"github.com/flower-corp/lotusdb"
"io/ioutil"
"time"
)

// basic operations for LotusDB:
// put
// put with options
// get
// delete
// delete with options
func main() { 
path, _ := ioutil.TempDir("", "lotusdb")
opts := lotusdb.DefaultOptions(path)
db, err := lotusdb.Open(opts)
if err != nil { 
panic(err)
}
defer db.Close()

// 1.----put----
key1 := []byte("name")
err = db.Put(key1, []byte("lotusdb"))
if err != nil { 
// ...
}

key2 := []byte("feature")
// 2.----put with options----
writeOpts := &lotusdb.WriteOptions{ 
Sync: true,
ExpiredAt: time.Now().Add(time.Second * 100).Unix(),
}
err = db.PutWithOptions(key2, []byte("store data"), writeOpts)
if err != nil { 
// ...
}

// 3.----get----
val, err := db.Get(key1)
if err != nil { 
// ...
}
if len(val) > 0 { 
// ...
}

// 4.----delete----
err = db.Delete(key1)
if err != nil { 
// ...
}

// 5.----delete with options----
deleteOpts := &lotusdb.WriteOptions{ 
Sync: false,
DisableWal: true,
}
err = db.DeleteWithOptions([]byte("dummy key"), deleteOpts)
if err != nil { 
// ...
}
}