数据工程主线

从数据架构、建模和批处理进入可观测、可治理的数据平台。

阅读起点

先从本页第一章开始；如果对应概念已经熟悉，可以从目录中选择需要补齐的章节。

全书顺序

本书按知识依赖组织。主线先建立可运行的共同模型，再进入机制、工程边界和生产约束；维护与前沿内容明确标注，不改变主线的学习顺序。

第1章｜架构与数据建模

理解数据系统边界、数据产品和可演进的数据模型。

1. 数据系统分层：区分采集、存储、计算、服务和消费边界。
2. 事实维度与事件模型：用业务事件和维度设计可查询模型。
3. Schema 演进：处理兼容、回填、版本和下游影响。

第2章｜批处理与数据转换

构建可重跑、可增量、可审计的 ETL/ELT 管道。

1. ETL 与 ELT 取舍：根据计算位置、数据延迟和治理要求选择流程。
2. 增量、幂等与回填：处理重复运行、迟到数据和历史修复。
3. 依赖与失败恢复：设计任务依赖、重试、检查点和补数流程。

第3章｜质量、血缘与治理

让数据的正确性、权限和来源可验证。

1. 质量维度与断言：把完整性、唯一性、及时性和准确性变成检查。
2. 血缘与数据契约：记录生产者消费者关系并管理变更。
3. 权限、隐私与保留：处理分级访问、脱敏、审计和生命周期。

阅读边界

本页是学习路线和专题入口，不替代专题笔记中的机制解释、可运行示例和练习。笔记尚未完成的专题会先显示为占位页；已有经验的读者可以跳到具体章节，再按前置关系回补。

路线状态

本路线的目录已经纳入路线架构，正文笔记仍处于占位或待审查状态。