注意：WAL是标准的Hadoop SequenceFile，并且存储了HLogKey实例。这些键包括序列号和实际数据，所以在服务器崩溃时可以回滚还没有持久化的数据。

一旦数据被写入到WAL中，数据就会被放到MemStore中。同时还会检查MemStore是否已经满了，如果满了，就会被请求刷写到磁盘中去。刷写请求由当前HRegionServer的另外一个线程处理，它会把数据写成HDFS中的一个新HFile。同时也会保存最后写入的序号，系统就知道哪些数据现在被持久化了。

多次数据刷写之后会创建许多数据存储文件，后台线程就会自动将小文件聚合成大文件，这样磁盘查找就会被限制在少数几个数据存储文件中。磁盘上的树结构也可以拆分成独立的小单元，这样更新就可以被分散到多个数据存储文件中。所有的数据存储文件都按键排序，所以没有必要在存储文件中为新的键预留位置。

查询时先查找内存中的存储，然后再查找磁盘上的文件。这样在客户端看来数据存储文件的位置是透明的。

删除是一种特殊的更改，当一条记录被删除标记之后，查找会跳过这些删除过的键。当页被重写时，有删除标记的键会被丢弃。

WAL（WRITE AHEADLOG）

HLog文件就是一个普通的Hadoop Sequence File ，Sequence File 的Key是HLogKey对象， HLogKey中记录了写入数据的归属信息，除了table和region名字外，同时还包括 sequence number和timestamp ，timestamp是”写入时间” ，sequence number的起始值为0，或者是最近一次存入文件系统中sequence number。

HLog SequeceFile的Value是HBase的KeyValue对象，即对应HFile中的KeyValue。

键（四个维度）value（单元格的值）

该文件作用是保证数据不丢失。

MemStore Flush

MemStore刷写时机：

• 当某个memstore的大小达到了 hbase.hregion.memstore.flush.size（默认值128M），其所在region的所有memstore都会刷写。
• 当单个 MemStore 的大小达到 hbase.hregion.memstore.flush.size*hbase.hregion.memstore.block.multiplier时，触发写阻塞。此时 RegionServer 会暂停对该 MemStore 对应 Region 的所有写操作，直到刷盘完成、MemStore 内存释放到阈值以下。
• 当region server中memstore的总大小达到
  hbase.regionserver.global.memstore.size.lower.limit （与java_heapsize相关）时，按Region 的 MemStore 总大小，由大到小排序，依次刷写整个 Region 的所有 MemStore，直到 RegionServer 总 MemStore 大小降到 lower.limit 以下 。
• 当region server中memstore的总大小达到hbase.regionserver.global.memstore.size（与java_heapsize相关）时，会优先阻塞 MemStore 占用内存最大的 Region 的写操作，若刷盘后总大小仍未下降，会逐步扩大阻塞范围，极端情况下会阻止往所有 MemStore 写数据。
• 到达自动刷写的时间，也会触发 memstore flush 。自动刷新的时间间隔由该属性进行配置

  hbase.regionserver.optionalcacheflushinterval （默认 1 小 时） 。
• 当 WAL 文件的数量超过 hbase.regionserver.max.logs ， region会按照时间顺序依次进行刷写，直到 WAL 文件数量减小到 hbase.regionserver.max.logs 以下（该属性名已经废弃，现无需手动设置，最大值为32）。

minor和major

由于memstore每次刷写都会生成一个新的HFile，且同一个字段的不同版本（timestamp）和不同类型（Put/Delete）有可能会分布在不同的HFile中，因此查询时需要遍历所有的HFile。为了减少HFile的个数，以及清理掉过期和删除的数据，会进行StoreFile Compaction。

Compaction分为两种，分别是Minor Compaction和MajorCompaction。 Minor Compaction会将临近的若干个较小的HFile合并成一个较大的HFile，并清理掉部分过期和删除的数据。Major Compaction会将一个Store下的所有的HFile合并成一个大HFile，并且会清理掉所有过期和删除的数据。

注意：

删除数据时，不会直接修改storefile，因为hadoop不允许修改。 hbase会将删除的数据标志为已删除（给该数据添加墓碑标记），如果添加了墓碑标记，查询不到该数据。在minor和major合并的时候，将标记了墓碑标记的数据真正删除。

Region Split

默认情况下，每个Table起初只有一个Region，随着数据的不断写入， Region会自动进行拆分。刚拆分时，两个子Region都位于当前的Region Server，但处于负载均衡的考虑， HMaster有可能会将某个Region转移给其他的Region Server。

表设计

用户角色表设计

1. 分析传统的人员角色表：

tb_user:id,username,nickname,sex,...

tb_role:id,name,desc,....

tb_user_role:user_id,role_id,created_date,created_by

用户表 角色表 用户和角色的关联关系表

关系型数据库中，表设计遵循三范式：

（1）主键 （2）每列不能再分 （3）外键关联

2. hbase的设计：

该方式不好，效率比较低。

为了满足数据的本地化存取，设计冗余字段。