Skip to content

AI 生产质量与治理 ​

用评估、可观测性、安全护栏和应用架构把模型能力变成可运营系统。

阅读起点 ​

学习前先阅读:AI 应用架构学习路线。

全书顺序 ​

本书按知识依赖组织。主线先建立可运行的共同模型,再进入机制、工程边界和生产约束;维护与前沿内容明确标注,不改变主线的学习顺序。

第1章|AI 应用状态与副作用 ​

建立任务合同、运行状态、权限和容量边界。

  1. 任务合同与完成条件:区分模型回答、工具动作和业务完成。
  2. 状态、幂等与恢复:处理重启、回滚和重复执行。
  3. 容量与发布:设计限流、成本预算和版本策略。

第2章|评估、归因与发布门禁 ​

让检索、工具轨迹和回答质量可度量。

  1. 数据切片与指标:建立任务集、分类和引用指标。
  2. 配对比较与统计:控制重复采样、偏差和置信度。
  3. 失败归因与门禁:区分检索、模型、工具和产品故障。

第3章|可观测性、安全与护栏 ​

将 trace、成本、隐私和威胁模型纳入运行。

  1. 日志、指标与 Trace:关联请求、模型、工具和用户。
  2. 成本、延迟与回放:管理分位数、用量和脱敏回放。
  3. 注入、审批与数据最小化:限制 URL、工具和敏感信息。
  4. 红队与事故收敛:把攻击样本和事故转为回归测试。

阅读边界 ​

本页是学习路线和专题入口,不替代专题笔记中的机制解释、可运行示例和练习。笔记尚未完成的专题会先显示为占位页;已有经验的读者可以跳到具体章节,再按前置关系回补。

路线状态 ​

本路线的目录已完成本轮架构审查;专题笔记的内容质量和来源审查另行进行。

用心记录每一步成长