AI 评估:从机制到独立运用
从可观察的任务成功定义开始,构造版本化样本与切片,分别测分类、检索、工具过程和生成质量,再用配对统计、人评校准与线上灰度决定是否发布。
阅读起点
先读 模型 API 通用原理 和 Agent 基础,掌握Python列表、集合与比例。
标准库实验使用 Python 3.12。每个标注完整实验的代码块单独保存为 lab.py,运行 python lab.py;同页局部替换按文字指示追加或替换。框架课程在正文给出独立虚拟环境与版本安装命令。断言失败会抛出 AssertionError,成功打印的值用于观察过程。网络和付费模型调用均单独标明,先读凭证与成本条件。
阅读顺序
每章正文包含首次运行入口与独立变体,答案在章内单独核对。框架调用、业务副作用与模型质量分别验证;确定性替身能检验控制流,不能证明真实模型准确率。大项目放在实战板块,正文使用小案例建立机制。