模型微调:从可观察过程理解应用
先判断行为问题是否值得训练,再处理数据、训练目标、参数更新、评估与发布。损失下降只是优化器拟合训练目标的证据,不是产品质量保证。
从哪里开始
需要Python函数、基础概率与导数。先读提示工程建立不训练的基线;本书标准库实验解释优化机制,真实大模型训练另标资源条件。
按下面顺序阅读,每章先运行正文,再做输入发生变化的练习。代码各自保存为 lab.py,使用 Python 3.11+ 执行 python3 lab.py。框架与真实解析/训练例子会另给固定Python3.12环境及安装步骤;纯标准库实验无模型调用费用。
阅读顺序
- 训练目标、数据分组与泄漏:先理解过程,再改变输入。
- 损失、梯度与参数高效训练:先理解过程,再改变输入。
- 泛化、遗忘、量化与发布:先理解过程,再改变输入。
完整目录见学习路线。