ETL工程师面试问题全面解析：从基础理论到大数据实战
在数字化转型的浪潮中，ETL工程师作为数据价值链的关键构建者，其重要性日益凸显。面试过程中，面试官不仅考察候选人的技术硬实力，如SQL编写能力、数据建模知识，更看重解决实际数据集成问题的思维逻辑。本页面汇总了近年来互联网及传统行业在招聘ETL工程师时的高频考点，旨在帮助求职者系统梳理知识体系，提升面试通过率。
无论是使用传统的Kettle、Informatica，还是新兴的Spark DataFrames，核心原理始终围绕数据的抽取（Extract）、转换（Transform）和加载（Load）。以下章节将逐一拆解这些核心模块。
一、SQL核心考点与性能优化
SQL是ETL工程师的立身之本。面试中，除了基础的增删改查，重点在于复杂查询、窗口函数以及执行计划分析。
1.1 常见SQL面试题解析
① 排名问题
题目：如何求出每个部门工资前三高的员工？
解析：需熟练使用窗口函数 DENSE_RANK() 或 ROW_NUMBER()。注意区分并列排名是否占用名次。
② 同比环比计算
题目：计算本月销售额相对于上月的增长率。
解析：利用 LAG() 函数获取上期数据，或自连接查询。需处理除零错误。
③ 连续登录问题
题目：找出连续7天登录APP的用户。
解析：通常涉及日期差值法。将日期减去行号，若结果相同则为连续日期，再分组计数。
1.2 性能优化实战
面试官常问：“ETL任务运行缓慢，如何优化SQL？”
- ⚡ 避免SELECT ：只查询必要字段，减少I/O和网络传输。
- ⚡ 索引优化：确保JOIN字段、WHERE条件字段有合适索引，但需注意ETL全量加载场景下索引维护成本。
- ⚡ 分区裁剪：在Hive/MaxCompute中，务必在WHERE中指定分区字段，避免全表扫描。
- ⚡ 数据倾斜处理：这是ETL工程师面试问题中的高频难点。解决方案包括：开启Map端聚合（
hive.groupby.skewindata）、给Key加随机前缀打散、单独处理大Key。
二、数据仓库建模与理论基础
理解数据仓库的理论框架是区分初级与高级ETL工程师的关键。面试官通常会深入询问范式与维度建模的选择。
2.1 范式 vs 维度建模
在OLTP系统中，我们遵循第三范式（3NF）以减少冗余；而在OLAP（数据仓库）中，我们采用⌈⌋维度建模⌊⌋，以星型模型或雪花模型为主，通过冗余换取查询性能。
| 特性 | 范式建模 (3NF) | 维度建模 (Kimball) |
|---|---|---|
| 主要用途 | 事务处理 (OLTP) | 分析处理 (OLAP) |
| 数据冗余 | 最小化 | 允许适度冗余 |
| 查询性能 | 复杂JOIN，较慢 | 少JOIN，速度快 |
| ETL复杂度 | 较高（需维护关系） | 较低（直连或简单转换） |
2.2 ODS, DWD, DWS, ADS 分层架构
现代大数据平台普遍采用分层架构，ETL工程师需清晰界定各层职责：
与业务数据库结构保持一致，不做清洗，仅做日志记录和备份。数据源包括MySQL日志、Nginx访问日志等。
数据清洗的核心区域。进行空值处理、异常值过滤、数据标准化（如日期格式统一）、维度退化。保持最小粒度。
基于DWD进行轻度汇总。按主题域（如用户、商品、交易）构建宽表，预计算常用指标（如用户日活、月消费总额），加速上层查询。
面向具体业务场景或报表的最终数据层。直接提供给BI工具或前端展示，数据粒度最粗。
三、ETL工具实战：Kettle与Informatica
虽然代码实现（Python/SQL）越来越流行，但图形化工具在中小企业仍有广泛使用。面试中常对比不同工具的优劣。
Kettle 核心知识点
Kettle（现称Pentaho Data Integration, PDI）因其轻量级和开源特性备受青睐。
- ⚙️ 转换 vs 作业：转换（Transformation）负责数据流处理；作业（Job）负责流程控制（如调度、错误处理、条件判断）。
- ⚙️ 数据库连接：支持JDBC直连，也支持连接池管理，提升并发性能。
- ⚙️ 性能调优：
- 启用“并行运行”：将转换组件设为多线程。
- 调整“块大小”：批量插入数据库时，增大Batch Size。
- 避免使用“排序”组件：尽量在SQL层完成排序。
Informatica 核心知识点
Informatica是企业级ETL的事实标准，功能强大但昂贵。
- ⚙️ 会话（Session）：ETL任务的基本执行单元。配置Source Qualifier、Transformation（Lookup, Expression, Filter等）和Target。
- ⚙️ 映射（Mapping）：定义数据从源到目标的转换逻辑。
- ⚙️ 性能调优：
- 使用“排序器”而非“聚合器”进行排序。
- 启用“直接加载”跳过临时表。
- 调整“提交阈值”以平衡内存使用和事务速度。
代码实现优势
随着大数据技术发展，越来越多的公司转向代码化ETL（如Python Pandas, Spark DataFrame）。
- ⚡ 版本控制：代码可纳入Git管理，便于协作和回溯。
- ⚡ 灵活性：可处理非结构化数据，逻辑更复杂。
- ⚡ 可扩展性：依托Spark/Flink等引擎，轻松处理PB级数据。
# Python Pandas 示例：简单的数据清洗
import pandas as pd
读取数据
df = pd.read_csv('source_data.csv')
清洗：去除空值
df.dropna(subset=['user_id'], inplace=True)
转换：日期格式化
df['create_date'] = pd.to_datetime(df['create_date'])
保存
df.to_parquet('cleaned_data.parquet', index=False)四、大数据组件集成与Hadoop生态
对于高级ETL工程师，熟悉Hadoop生态圈是必备技能。面试官会考察如何在分布式环境下处理数据。
4.1 Hive 调优与特性
Hive是数据仓库的核心组件。面试重点包括：
- ⚡ 文件格式：推荐使用ORC或Parquet列式存储，支持压缩（Snappy/ZSTD），大幅减少I/O。
- ⚡ 小文件问题：HDFS不支持海量小文件。需在ETL结束时合并小文件（
ALTER TABLE ... CONCATENATE）。 - ⚡ 动态分区：开启动态分区（
hive.exec.dynamic.partition=true）可自动按字段创建分区，简化ETL逻辑。
4.2 Spark 在ETL中的应用
Spark比Hive MapReduce快10-100倍，适合实时或近实时ETL。
- ⚡ DataFrame API：相比RDD，DataFrame提供了Catalyst优化器，执行效率更高。
- ⚡ 广播变量：当小表与大表JOIN时，使用广播变量（Broadcast Join）避免Shuffle，提升性能。
- ⚡ Checkpoint：在长链路ETL中，定期Checkpoint可防止Lineage过长导致的Standalone模式OOM。
五、常见故障排查与运维
ETL任务失败是日常运维的常态。面试官会考察你的排错思路。
5.1 数据质量监控
建立数据质量（DQ）检查机制至关重要：
- ✅ 完整性：检查主键是否重复、关键字段是否为空。
- ✅ 一致性：检查关联表数据是否存在孤儿记录。
- ✅ 准确性：检查数值范围是否异常（如年龄为负数）。
5.2 常见错误及解决方案
错误：OOM (Out Of Memory)
原因：数据倾斜或单条记录过大。
解决：增加Executor内存，调整spark.executor.memory，或优化代码避免大对象加载。
错误：数据丢失
原因：ETL过程中未正确处理空值或过滤条件错误。
解决：在源端和目标端进行行数比对（Row Count），设置告警。
错误：任务延迟
原因：上游数据延迟或资源竞争。
解决：监控上游SLA，设置依赖调度，预留资源队列。
六、薪资水平与职业发展路径
了解市场行情有助于求职者合理预期。根据近年来招聘数据，ETL工程师的薪资呈上升趋势，尤其是具备大数据平台经验的候选人。
| 经验等级 | 核心技能要求 | 薪资范围 (人民币/月) |
|---|---|---|
| 初级 (1-3年) | 熟练SQL，掌握Kettle/Informatica基础，了解数据仓库基本概念 | 8k - 15k |
| 中级 (3-5年) | 精通SQL优化，熟悉Hive/Spark，具备数据建模能力，能独立负责模块 | 15k - 25k |
| 高级 (5年以上) | 大数据架构设计，性能调优专家，解决复杂数据倾斜，具备团队管理能力 | 25k - 40k+ |
职业发展路径通常为：ETL工程师 → 数据仓库工程师 → 大数据开发工程师 → 数据架构师。随着AI技术的发展，掌握数据治理和数据湖（Data Lake）技术的工程师将更具竞争力。