数据湖仓工程师一面、二面、三面面经

#元戎启行秋招岗位怎么选# 面试时间：8.22 面试公司：元戎启行三面 面试岗位：数据湖仓工程师 Q：自我介绍 Q：介绍一下学校课程？ Q：你了解哪些数据湖表格式？ Q：介绍数据湖和数据仓库的概念区别、优势、适用与不适用场景 A：数据湖支持结构化、非结构化、半结构化全类型数据存储，能够承载PB级海量数据，适配自动驾驶、互联网大规模数据场景，核心优势是灵活。基于 Iceberg 等表格式，支持 Schema 演进、时间回溯，大幅提升大数据治理效率。 传统数据仓库基于分布式引擎，数据结构固定，存储量级上限更低。优势是成熟稳定、元数据规范、中小规模数据治理成本低。 Q：为什么数据湖可以承载比传统数仓更大的数据量级？ A：第一，数据湖底层基于 S3、OSS 对象存储，无需预定义结构，原始数据可直接入库，扩容能力极强，无集群节点数量限制。传统数仓强依赖集群节点规模，存储上限受限。 第二，数据湖支持增量版本存储，仅保存变更数据；传统数仓回溯版本需要全量备份，存储冗余极高。同等资源下数据湖存储容量利用率更高。 Q：数据湖在查询层面、字段迭代层面有什么优势？ A：数据湖支持分区裁剪、隐式分区，物理数据聚集性更好，查询效率更高。 传统数仓结构固定，新增字段后旧数据无法兼容，需要全量重写覆盖。 Iceberg 基于快照机制和分区存储，新增字段仅写入新数据，不改动历史文件。查询时动态合并多版本分区数据，在读取层完成 Schema 兼容，无需重写历史数据，迭代灵活度极高。 Q：数据湖还有其他优势吗？ A：第一，多引擎兼容，Spark、Trino、Flink 均可对接，传统数仓适配多引擎成本极高。 第二，支持 Parquet、ORC 多种列式格式，资源复用率高。 第三，时间旅行能力，仅增量保存变更，存储成本低、数据回溯精准，大幅降低数据治理难度。 Q：日常使用哪些计算引擎？ Q：Spark 对比 Flink 优势？Flink 可批可流，Spark 还有必要存在吗？ A：Spark 主打离线批处理，开发成本极低，绝大多数分析、ETL 任务通过 SQL 即可完成。执行链路清晰，Spark UI 可直观排查日志、性能、数据倾斜问题，调优和运维成本更低。Flink 更适合实时流处理，但开发复杂度更高，需要手动搭建数据流、配置检查点、水印，离线场景性价比不如 Spark。因此离线场景下 Spark 依然不可替代。 ❌ 缺点：未提及 Spark 超大批量吞吐优势、Flink 小批量低延迟优势，理论深度略浅。 Q：掌握哪些编程语言？操作系统掌握程度？ Q：Agent编程实现：设计一个数据查询模块 Q（候选人反问）：团队规模、组织架构、工作内容、工作强度、是否参与数据规范制定 面试时间：8.10 面试公司：元戎启行二面 面试岗位：数据湖仓工程师 Q1：自我介绍 Q2：介绍一下项目整体流程 Q3：项目追问1？ Q4：ODS层存储哪些原始数据？衍生指标如何得到？ Q5：该项目为什么选用湖仓这种重型架构？ Q6：项目一手埋点数据存放在哪里？非结构化日志如何处理？ Q7：说说你对Binlog的理解 Q8：简历追问1？ Q9：40min 写代码 面试反问：岗位日常工作重心、团队架构 面试时间：7.30 面试公司：元戎启行一面 面试岗位：数据湖仓工程师 Q1：请做一下自我介绍 Q2：详细介绍你上一段实习的业务、工作内容、技术栈 Q3：业务上游原始数据来源是什么？数据开发核心难点？ Q4：如何区分全量/增量数据，避免重复脏数据？ Q5：完整描述整套数据加工分层链路 Q6：直接从ODS层读取数据生成ADS表，会存在哪些问题？ Q7：区分事实表、维度表，业务内如何设计？ Q8：湖仓一体架构介绍，Iceberg使用场景与优势 Q9：任务性能调优场景，举例大部门数据倾斜如何解决？ Q10：如何识别数据倾斜？通用解决手段有哪些？ Q11：数据质量如何对比？ Q12：指标口径不一致，如何解决？ Q13：手撕算法：二分查找 反问： Q14：咨询团队业务分工、技术栈 Q15：原始数据是否存在多部门口径不统一问题？智能取数工具如何治理口径？