[Hbase] Hbase优化之禁用wal以及Hfile应

关注

VIP免费原创最新推荐文章于 2026-04-01 03:18:04 发布 2.3k 阅读 AI 写同款· GEO 优化 ›

HBase生产踩坑实录：LSM树、ZooKeeper超时与JVM内存陷阱 LSM树是现代KV存储的核心数据结构，其通过MemStore与SSTable分层设计实现高效写入，但背后隐藏着Compaction触发不可控、读写资源争抢、GC停顿放大等系统性风险。ZooKeeper作为分布式协调基石，其会话超时机制在真实IO与GC压力下极易失效，成为集群雪崩的导火索。而JVM堆内存配置若未区分MemStore、BlockCache与对象生命周期，将直接导致CMS并发失败与长时间Stop-The-World。这些并非配置疏漏，而是HBase 0.94.x架构在高负载下的固有行为模式。本文基阅读详情

1、WAL：write-ahead log 预写日志

灾难恢复，一旦服务器崩溃，通过重放log，即可恢复之前的数据（内存中还没有刷写到磁盘的数据）；如果写入wal操作失败，整个操作就认为是失败。
因此，如果开启wal机制，写操作性能会降低；
如果关闭wal机制，数据在内存中未刷写到磁盘时，server突然宕机，产生数据丢失。

解决办法：不开启wal机制，手工刷新memstore的数据落地

//禁用WAL机制
put.setDurability(Durability.SKIP_WAL)

在数据写操作之后，调用flushTable操作，代替wal机制：

  def flushTable(table:String,conf:Configuration):Unit={
    var connection: Connection = null
    var admin:Admin=null

    connection=ConnectionFactory.createConnection(conf)

    try{
      admin=connection.getAdmin
      //将数据从MemStore刷写到磁盘中
      admin.flush(TableName.valueOf(table))

    }catch{
      case e:Exception=>e.printStackTrace()
    }finally {
      if(null!=admin){
        admin.close()
      }
    }    
  }

2、利用HFile

直接使用Spark将DF/RDD的数据生成HFile文件，数据load到HBase里面。

注意：
<1> HFile在所有的加载方案里面是最快的，不过有一个前提——数据是第一次导入，表是空的，如果表中已经有了数据，HFile再导入到hbase的表中会触发split操作;
<2>输出部分key和value的类型必须是： < ImmutableBytesWritable, KeyValue>或者< ImmutableBytesWritable, Put>

//1.元数据DataFrame
//这里使用mapPartitions方法
val hbaseInfoRDD = logDF.rdd.mapPartition

最低0.47元/天解锁文章

标签

# Hbase #大数据

异步fifo的UVM验证（最终最终版）更新了refmdl以及scb 阅读详情

[Hbase] Hbase优化之禁用wal以及Hfile应

相关推荐