Java教程

《HBase原理与实践》LSM树读书笔记

本文主要是介绍《HBase原理与实践》LSM树读书笔记,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

文章目录

  • 一、简介
  • 二、KeyValue 存储格式
  • LSM树的索引结构
  • compact:优化读操作
    • 如何优化
    • major compact
    • minor compact
  • 总结

一、简介

在大数据场景下,HBase的存储引擎选择的是LSM树(日志结构合并树Log-Structured Merge-Tree),LSM树会将写入操作处理为一次顺序写,HDFS擅长的正是顺序写。

  • LSM树主要目标是快速建立索引
  • LSM树通过磁盘的顺序写来实现最好的写性能
  • LSM树的索引由两部分组成:一部分是内存部分,一部分是磁盘部分,内存部分一般采用跳跃表维护一个有序的Key-Value集合;磁盘部分一般由多个内部KeyValue有序的文件组成。

二、KeyValue 存储格式

在这里插入图片描述

  • keyLen、valueLen、rowkeyLen、familyLen存储的都是各自的长度
  • rowkeyBytes、familyBytes、qualifierBytes存储的分别是rowkey、列族、属性的值
  • timestamp:表示timestamp对应的long值
  • type:表示这个KeyValue操作的类型,HBase有Put、Delete、DeleteColumn、DeleteFamily等等,这表明LSM树内存储的不只是数据,而是每一次操作记录。

比较KeyValue大小:依次比较rowKeyBytes、familyBytes、qualifierBytes、timestamp(越大越靠前),即依次比较rowkey,列族,属性,时间戳。

LSM树的索引结构

在这里插入图片描述

一个LSM树主要由内存部分和磁盘部分构成,内存部分是一个ConcurrentSkipListMap,Key就是上文提到的key,value是一个字节数组。数据写入时先写入 MemStore,一旦内存占用超过一定阈值时,把内存部分数据导出,形成一个有序的数据文件,存储在磁盘上(Flush过程)。

flush时会先把当前写入的 MemStore 设为 Snapshot,不再允许新的写入操作写入这个 Snapshot 的 MemStore。另开一个内存空间作为 MemStore,让后面的数据写入。一旦 Snapshot 的 MemStore 写入完毕,对应的内存空间就可以释放。

注意
在数据写入过程中,LSM树全部都是磁盘的顺序写,磁盘的顺序写操作性能和延迟远好于磁盘随机写。因此LSM树是对写入极为友好的索引结构,能将磁盘的写入宽带利用到极致。

compact:优化读操作

随着数据的不断写入,内存中的数据也会不断刷写到磁盘中导致磁盘中的文件越来越多。如果这时候要读取数据的话,则需要将大量的磁盘文件进行多路归并,之后才能读到所需的数据(因为LSM树记录的是一个数据的操作,这个数据可能是增加、修改、删除操作,相同的key的数据中type可能不同,timestamp也不同,只有将他们全局综合起来,选出最合适的版本返回),因此磁盘文件越多,在读取的时候随机读的次数也越多,从而影响读操作的性能。

如何优化

设置一定策略将选中的多个 hfile 进行多路归并,合成一个文件

major compact

将所有的 hfile 一次性多路归并成一个文件。合并之后只有一个文件,这样读取性能最高;但是合并所有的文件可能需要很长的时间并消耗大量的IO宽带,因此major compact操作不宜频繁使用,适合周期性操作。

minor compact

只选中少数的hfile,多路归并为一个文件。好处就是进行局部的compact,通过少量的 IO 减少文件个数,提升读取操作的性能,适合高频率操作;缺点是只合并了局部数据,对于全局删除的数据,无法在合并中完全删除。然而 Major Compact 能完全清理 delete 操作,保证数据的最小化。

总结

LSM树的索引结构本质是将写入操作全部转化成磁盘的顺序写入,极大提高了写入操作的性能。但是如果需要读取数据的话,需要将磁盘中的 hfile 文件归并读取,这非常消耗IO资源。因此HBase中通过 Compaction 来降低文件个数,提高读取性能。由于HDFS只支持文件的顺序写,HDFS擅长的场景是存储大文件而非小文件,所以上层选择LSM树这种索引结构是最合适的。

这篇关于《HBase原理与实践》LSM树读书笔记的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!