【Hadoop面试题】核心考点解析
1. Hadoop核心组件有哪些？
Hadoop主要由以下四个核心组件构成：
- HDFS（Hadoop Distributed File System）：分布式文件系统，负责数据存储
- YARN（Yet Another Resource Negotiator）：资源调度框架，负责集群资源管理
- MapReduce：分布式计算框架，负责数据处理
- Hadoop Common：其他Hadoop模块所需的公共工具
2. HDFS的读写流程是怎样的？
写流程：客户端向NameNode请求上传文件→NameNode检查权限并返回DataNode列表→客户端将文件分成Block→向DataNode发送Block数据→DataNode之间进行数据复制→写入完成后返回确认。
读流程：客户端向NameNode请求下载文件→NameNode返回文件对应的DataNode信息→客户端从最近的DataNode读取数据块→读取完成后返回确认。
1. Hadoop性能调优有哪些手段？
内存调优
合理配置JVM堆内存大小，调整Map和Reduce任务的内存分配比例，避免内存溢出。
网络调优
优化网络带宽，调整副本放置策略，减少跨机架数据传输，提升读写性能。
磁盘调优
使用SSD硬盘提升I/O性能，合理配置磁盘数量，避免I/O瓶颈。
2. NameNode故障如何处理？
NameNode是HDFS的核心，其故障处理策略包括：
- 使用Secondary NameNode进行定期合并fsimage和edits日志
- 配置HA（高可用）集群，使用ZooKeeper实现自动故障转移
- 定期备份NameNode元数据到远程存储
【Spark面试题】核心考点解析
1. Spark与MapReduce的区别？
| 特性 | MapReduce | Spark |
|---|---|---|
| 计算模型 | 基于磁盘 | 基于内存 |
| 处理速度 | 较慢 | 快10-100倍 |
| 数据结构 | 键值对 | RDD/DataFrame |
| 容错机制 | 数据重算 | 血统Lineage |
2. RDD的特性有哪些？
- 只读、分区记录的分布式集合
- 基于血统Lineage实现容错
- 支持并行操作
- 惰性求值，提高执行效率
1. Spark Shuffle机制详解
Shuffle是Spark中数据重新分布的过程，主要包括：
- Map阶段：将数据写入本地磁盘，生成中间文件
- Reduce阶段：从Map节点拉取数据，进行聚合计算
优化策略包括：调整分区数、使用Broadcast变量、避免数据倾斜等。
2. 数据倾斜如何解决？
加盐处理
为Key添加随机前缀，将数据分散到不同分区
两阶段聚合
先局部聚合，再全局聚合，减少Shuffle数据量
过滤热点Key
单独处理高频Key，避免参与Shuffle
【Flink面试题】核心考点解析
1. Flink的核心特性有哪些？
- 真正的流处理架构，支持有界和无界数据
- 精确一次（Exactly-Once）语义保证
- 低延迟、高吞吐的事件处理能力
- 状态管理（State Backend）支持容错
2. Flink的JobManager和TaskManager是什么？
JobManager：负责协调分布式执行，包括调度任务、检查点协调、故障恢复等。
TaskManager：负责执行具体的任务，包括数据处理、状态存储、与JobManager通信等。
1. Flink的Checkpoint机制
Checkpoint是Flink实现容错的核心机制：
- 定期保存算子的状态到持久化存储
- 使用Barrier对齐机制保证一致性
- 支持异步快照，减少对性能的影响
2. Flink的时间语义
事件时间
数据实际发生的时间，保证处理结果的准确性
处理时间
数据被处理的时间，实现简单但不够精确
摄入时间
数据进入Flink的时间，折中方案
【Hive面试题】核心考点解析
1. Hive的架构组成
- 用户接口：CLI、JDBC/ODBC、WebGUI
- 元数据存储：MySQL、Derby
- Hive服务：Driver、Compiler、Executor
- Hadoop集群：HDFS、MapReduce/YARN
2. Hive的数据类型有哪些？
基本类型：TINYINT、SMALLINT、INT、BIGINT、FLOAT、DOUBLE、BOOLEAN、STRING、BINARY、TIMESTAMP、DECIMAL、CHAR、VARCHAR、DATE
复杂类型：ARRAY、MAP、STRUCT、UNION
1. Hive的优化策略
数据倾斜优化
调整MapReduce任务数，使用Skew Join
小文件合并
设置合适的文件大小，避免过多小文件
索引优化
为常用查询字段建立索引，提升查询性能
2. Hive与HBase的集成
通过Hive-HBase集成表，可以实现Hive的分析能力与HBase的实时查询能力结合：
- 创建外部表映射HBase表
- 使用Hive SQL进行数据分析
- 利用HBase的随机读写能力
【Kafka面试题】核心考点解析
1. Kafka的核心概念
- Topic：消息分类，逻辑上的概念
- Partition：物理上的消息队列，支持并行处理
- Broker：Kafka服务器节点
- Producer/Consumer：消息生产者和消费者
2. Kafka的可靠性保证
通过副本机制保证数据可靠性：
- 每个Partition可以有多个副本
- Leader副本负责读写，Follower副本负责同步
- ISR（In-Sync Replicas）机制保证数据一致性
1. Kafka的性能优化
批量发送
调整batch.size和linger.ms参数，提高吞吐量
压缩策略
使用Snappy或LZ4压缩，减少网络传输
分区策略
合理设置Partition数量，平衡负载
2. Kafka的消息顺序保证
在Partition级别保证消息顺序，通过以下方式实现：
- 单Partition内消息有序
- Producer指定Partition
- Consumer单线程处理
【职业发展】大数据工程师成长路径
掌握Hadoop生态基础
熟悉Hadoop、Hive、HBase等核心组件，能够搭建和维护大数据集群，编写基础的MapReduce和Hive SQL。
深入Spark和Flink
掌握Spark和Flink的编程模型，能够处理大规模数据计算，优化作业性能，解决数据倾斜等问题。
大数据架构设计
具备大数据平台架构设计能力，能够根据业务需求选择合适的技术栈，设计高可用、高性能的数据处理方案。
技术专家/架构师
成为大数据领域的技术专家，能够解决复杂的技术难题，指导团队技术方向，推动技术创新。
网友们还关心
薪资水平
大数据开发工程师薪资普遍较高，一线城市资深工程师年薪可达50-100万。
学习资源
推荐官方文档、技术博客、在线课程等学习资源，结合实际项目练习。
面试技巧
注重基础知识掌握，准备项目经验，练习算法题，提升沟通能力。