hbase面试题库

一、HBase架构原理高频考点

1.1 HBase数据模型详解

HBase是一个面向列的分布式数据库，其数据模型与传统关系型数据库有显著差异。理解HBase的数据模型是掌握其核心概念的基础。

1.2 HBase读写流程深度解析

理解HBase的读写流程是面试中的重点。客户端读写数据需要经过多个组件的协作。

1.2.1 写流程

客户端 → ZooKeeper → HMaster → RegionServer
  1. 客户端向ZooKeeper查询META表位置
  2. 根据RowKey定位到对应的RegionServer
  3. 向RegionServer发送写请求
  4. RegionServer将数据写入WAL日志
  5. 将数据写入MemStore（内存）
  6. 返回写入成功确认给客户端
  7. 当MemStore达到阈值，刷写到HFile
  8. 定期Compact合并HFile

1.2.2 读流程

客户端 → ZooKeeper → META表 → RegionServer → MemStore → StoreFile
  1. 客户端向ZooKeeper查询META表位置
  2. 根据RowKey定位到对应的RegionServer
  3. 首先检查BlockCache（读缓存）
  4. 如果缓存未命中，检查MemStore
  5. 如果MemStore未命中，读取StoreFile（HFile）
  6. 合并多个版本的数据，返回最新值
  7. 将读取的数据写入BlockCache

二、HBase Java API 实战指南

在实际开发中，HBase Java API是最常用的操作方式。掌握API的正确用法对于面试至关重要。

2.1 连接配置

Configuration config = HBaseConfiguration.create();
config.set("hbase.zookeeper.quorum", "node1,node2,node3");
config.set("hbase.zookeeper.property.clientPort", "2181");
Connection connection = ConnectionFactory.createConnection(config);
Admin admin = connection.getAdmin();
Table table = connection.getTable(TableName.valueOf("user_behavior"));

2.2 创建表

HTableDescriptor desc = new HTableDescriptor(TableName.valueOf("user_info"));
HColumnDescriptor colInfo = new HColumnDescriptor("info");
colInfo.setMaxVersions(3);
colInfo.setCompressionType(Algorithm.SNAPPY);
desc.addFamily(colInfo);
HColumnDescriptor colContent = new HColumnDescriptor("content");
colContent.setCompressionType(Algorithm.GZ);
desc.addFamily(colContent);
admin.createTable(desc);

2.3 插入数据

Put put = new Put(Bytes.toBytes("20240101_user123"));
put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"),
               Bytes.toBytes("张三"));
put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("age"),
               Bytes.toBytes("28"));
put.addColumn(Bytes.toBytes("content"), Bytes.toBytes("bio"),
               Bytes.toBytes("大数据工程师"));
table.put(put);

2.4 查询数据

Get get = new Get(Bytes.toBytes("20240101_user123"));
Result result = table.get(get);
byte[] name = result.getValue(Bytes.toBytes("info"),
                               Bytes.toBytes("name"));
System.out.println("姓名：" + Bytes.toString(name));

2.5 扫描数据

Scan scan = new Scan();
scan.setStartRow(Bytes.toBytes("20240101_"));
scan.setStopRow(Bytes.toBytes("20240102_"));
scan.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"));
ResultScanner scanner = table.getScanner(scan);
for (Result result : scanner) {
    System.out.println(Bytes.toString(result.getRow()) + " - " +
                       Bytes.toString(result.getValue(Bytes.toBytes("info"),
                       Bytes.toBytes("name"))));
}
scanner.close();

2.6 批量操作

List<Put> puts = new ArrayList<>();
for (int i = 0; i < 1000; i++) {
    Put put = new Put(Bytes.toBytes("row_" + i));
    put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("value"),
                   Bytes.toBytes("value_" + i));
    puts.add(put);
}
table.put(puts);

三、HBase HQL 查询语法

HBase提供类SQL的查询接口Hive on HBase和Phoenix，使得熟悉SQL的开发人员可以快速上手。

-- 查询指定RowKey的数据
SELECT  FROM user_info WHERE rowkey = '20240101_user123';
-- 范围查询
SELECT  FROM user_info WHERE rowkey LIKE '20240101_%';
-- 条件过滤
SELECT name, age FROM user_info WHERE age > 25;

-- 统计用户数量
SELECT COUNT() FROM user_info;
-- 按年龄分组统计
SELECT age, COUNT() FROM user_info GROUP BY age;
-- 计算平均年龄
SELECT AVG(age) FROM user_info WHERE age IS NOT NULL;

-- 子查询
SELECT  FROM (
    SELECT  FROM user_info WHERE age > 25
) t WHERE t.name LIKE '张%';
-- 多表关联
SELECT u.name, o.amount
FROM user_info u
JOIN order_info o ON u.rowkey = o.user_id;
-- 窗口函数
SELECT name, age,
       ROW_NUMBER() OVER (PARTITION BY city ORDER BY age DESC) as rank
FROM user_info;

四、HBase 性能调优策略

性能调优是HBase面试中的高频考点。合理的调优策略可以显著提升系统性能。

4.1 热点解决方案

数据热点是HBase常见的问题。当大量请求集中在某个Region时，会导致该Region响应变慢。

五、HBase 常见故障排查

在实际生产环境中，HBase可能会出现各种故障。掌握故障排查方法对于运维人员至关重要。

5.1 RegionServer宕机

RegionServer宕机是常见的故障场景。排查步骤：

• 检查RegionServer日志：/var/log/hbase/hbase-hbase-regionserver.log
• 查看系统资源：CPU、内存、磁盘IO
• 检查网络连通性
• 确认HDFS健康状态

5.2 Compaction风暴

Compaction是HBase后台合并HFile的过程。当Compaction过于频繁时，会影响性能。

• 调整hbase.hstore.compaction.threshold参数
• 减少MemStore刷写频率
• 增加Compaction线程数
• 使用Major Compaction错峰执行

5.3 数据不一致

数据不一致可能由多种原因引起：

• WAL日志未同步
• Region分裂过程中数据丢失
• 网络分区导致数据不同步

-- 检查数据一致性
hbase org.apache.hadoop.hbase.util.HBaseFsck
hbase fsck -details
-- 修复数据不一致
hbase fsck -fix
hbase fsck -fixAssignments

六、HBase面试常见问题解答