一、 什么是HDFS？核心概念解析

HDFS (Hadoop Distributed File System) 是Hadoop的核心存储组件，专为运行在通用硬件（Commodity Hardware）上的分布式文件系统而设计。它具有高容错性（Fault-tolerant）、高吞吐率（High-throughput）的特点，适合处理超大数据集（Large dataset）。

⚡ 核心特性

  • ◆ 数据分块存储（Block Size默认128MB/256MB）
  • ◆ 主从架构（Master/Slave）
  • ◆ 一次写入，多次读取（Write Once, Read Many）
  • ◆ 廉价硬件集群支持

⚙️ 适用场景

  • ◆ 批量数据分析（Batch Processing）
  • ◆ 大规模数据归档
  • ◆ 日志数据收集与分析
  • ◆ 不适合低延迟数据访问

在面试中，面试官常问：“为什么HDFS不适合低延迟数据访问？” 答案在于HDFS的设计目标是高吞吐率，而非低延迟。它通过减少寻道时间来最大化数据吞吐量，因此对于实时查询或毫秒级响应的场景，HBase或Redis是更好的选择。

二、 HDFS 架构详解：NameNode与DataNode

HDFS采用Master/Slave架构，主要由NameNode、DataNode和SecondaryNameNode组成。理解这三者的角色及其交互机制是面试的重中之重。

1. NameNode (NN)

NameNode是HDFS集群的主节点，负责管理文件系统的命名空间（Namespace）和客户机对文件的访问。它主要存储两部分信息：

  • 〖〗 fsimage：元数据镜像文件，记录了文件系统的所有目录和文件信息。
  • 〖〗 edits：操作日志文件，记录了最近对文件系统的修改操作。

NameNode不存储实际的数据块，只存储元数据。它维护着文件到Block的映射关系，以及Block到DataNode的映射关系。

2. DataNode (DN)

DataNode是HDFS集群的从节点，负责存储实际的数据块。它定期向NameNode汇报自己持有的Block列表（Block Report）。

  • ◆ 数据块存储：每个Block默认备份3份（副本因子Replication Factor=3）。
  • ◆ 心跳机制：每3秒向NameNode发送一次心跳，报告存活状态。
  • ◆ 数据恢复：接收NameNode的指令进行数据块的复制或删除。

3. SecondaryNameNode (SNN)

SNN并非NameNode的热备，而是协助NameNode合并fsimage和edits，以减少NameNode启动时间。它的工作流程是：拉取edits和fsimage -> 合并生成新的fsimage -> 推送回NameNode。

三、 HDFS 读写流程深度剖析

这是面试中最常考察的技术细节之一。我们需要清晰描述Client、NameNode和DataNode之间的交互过程。

写入流程
读取流程

文件写入流程 (Write)

  1. 客户端请求：Client通过RPC请求NameNode，询问是否要创建文件，以及文件需要存储的Block大小。
  2. NameNode响应：如果权限通过，NameNode返回允许创建，并告知Client需要连接的DataNode列表（通常3个）。
  3. 建立Pipeline：Client向第一个DataNode发送写入请求，第一个DN通知第二个DN，第二个通知第三个，建立数据管道（Pipeline）。
  4. 数据流式写入：Client将数据分块写入第一个DN，第一个DN复制到第二个，第二个复制到第三个。这是一个流水线过程。
  5. 确认机制：每个DN收到数据后，向管道上游发送ACK，最终NameNode收到所有DN的确认，写入完成。
# 示例命令
hdfs dfs -put localfile.txt /input/

文件读取流程 (Read)

  1. 客户端请求：Client通过RPC请求NameNode，获取文件的元数据信息（Block位置）。
  2. NameNode响应：NameNode返回文件各个Block所在的DataNode列表，按网络拓扑结构排序（优先返回本地机架的DN）。
  3. 流式读取：Client选择最近的DataNode，建立Socket连接，读取数据。
  4. 数据校验：读取过程中，Client会校验数据的Checksum，确保数据完整性。
  5. 关闭连接：读取完成后，关闭Socket连接。
# 示例命令
hdfs dfs -cat /input/localfile.txt

四、 HDFS 容错机制与故障处理

HDFS的设计哲学是“假设故障是常态”，因此其容错机制非常完善。

NameNode 单点故障处理

早期Hadoop 1.x存在NameNode单点故障（SPOF）问题。Hadoop 2.x引入了HDFS HA（High Availability）机制，通过Active/Standby两个NameNode解决。Standby NameNode实时同步Active的元数据（通过JournalNode或QuorumJournalManager）。当Active故障时，通过Zookeeper Failover Controller自动切换Standby为Active。

DataNode 故障处理

DataNode定期发送心跳给NameNode。如果NameNode在指定时间（默认10分钟）未收到心跳，则认为该DataNode死亡。NameNode会将该DN上的Block副本数量降低，并在其他DN上重新复制数据，直到满足副本因子要求。

数据块损坏处理

DataNode在启动时会校验本地Block的Checksum。如果发现损坏，会向NameNode报告。NameNode会标记该Block为损坏，并从其他健康的副本中恢复数据。

五、 HDFS 性能优化与常见问题

在实际生产环境中，HDFS往往面临小文件问题和读写性能瓶颈。以下是常见的优化策略。

问题类型 原因分析 优化方案
小文件过多 每个文件/Block占用NameNode 150Bytes内存，小文件多导致NN内存溢出。 1. 使用Har文件归档
2. 合并小文件
3. 使用SequenceFile存储
读写速度慢 网络带宽瓶颈或磁盘IO瓶颈。 1. 增加副本数（提升读取并行度）
2. 调整Buffer Size
3. 使用本地磁盘而非网络存储
数据倾斜 某些DataNode存储数据过多，导致负载不均。 1. 调整副本放置策略
2. 使用Balancer工具均衡数据

小文件问题的深度解析

小文件是HDFS的噩梦。解决方案包括：

  • ◆ MapFile/SequenceFile：将多个小文件打包成一个大的二进制文件，减少NameNode压力。
  • ◆ HAR (Hadoop Archive)：一种高效的归档文件格式，保留文件的原始格式，但将元数据合并。
  • ◆ CombineFileInputFormat：在MapReduce中，将多个小文件合并为一个Split，减少Map任务数。

六、 高频面试题 Q&A

以下是针对大数据面试题关于hdfs整理的高频问题，建议考生重点记忆。

Q1: HDFS的Block Size为什么默认是128MB？

答：Block Size的设计主要考虑了磁盘传输时间和寻道时间。如果Block太小，寻道时间占主导，降低吞吐率；如果Block太大，从磁盘读取时间长，且MapReduce启动慢。128MB（Hadoop 2.x之前是64MB）是一个平衡点，使得寻道时间可以忽略不计（约10ms），同时保证单次读取能获取足够多的数据。

Q2: 什么是数据本地性（Data Locality）？

答：数据本地性是指计算任务尽可能在存储数据的节点上运行，以减少网络传输开销。优先级顺序为：

  1. ◆ 节点本地（Node Local）：任务在数据所在节点运行。
  2. ◆ 机架本地（Rack Local）：任务在数据所在机架的其他节点运行。
  3. ◆ 跨机架（Cross Rack）：任务在其他机架运行。

Q3: HDFS与NAS、SAN的区别？

答：

  • ◆ NAS：基于文件共享（NFS/SMB），适合小文件，扩展性差。
  • ◆ SAN：基于块存储，高性能，成本高，扩展性有限。
  • ◆ HDFS：基于流式数据访问，适合大数据集，高容错，扩展性强，成本低。

Q4: NameNode内存满了怎么办？

答：1. 增加NameNode的JVM堆内存；2. 减少集群中小文件数量，进行归档；3. 升级硬件，增加内存；4. 使用Federation（联邦）NameNode，将命名空间划分为多个命名空间。