分布式计算与流处理

比较 Spark、Flink 与流批一体模型，理解状态、时间和容错。

阅读起点

学习前先阅读：数据工程学习路线总览。

全书顺序

本书按知识依赖组织。主线先建立可运行的共同模型，再进入机制、工程边界和生产约束；维护与前沿内容明确标注，不改变主线的学习顺序。

第1章｜Spark 批计算

掌握分区、shuffle、执行计划和批作业调优。

1. RDD/DataFrame 与惰性执行：从抽象和执行计划理解转换与 action。
2. 分区与 shuffle：定位数据倾斜、宽依赖和网络开销。
3. 作业调度与资源：根据并行度、内存和缓存优化作业。

第2章｜流处理语义

处理事件时间、状态、窗口和一致性。

1. 事件时间与水位线：区分处理时间、事件时间和迟到事件。
2. 窗口、状态与检查点：设计有界状态和故障恢复。
3. 至少一次与有效一次：理解幂等、事务和结果重复的现实边界。

阅读边界

本页是学习路线和专题入口，不替代专题笔记中的机制解释、可运行示例和练习。笔记尚未完成的专题会先显示为占位页；已有经验的读者可以跳到具体章节，再按前置关系回补。

路线状态

本路线的目录已经纳入路线架构，正文笔记仍处于占位或待审查状态。