第2章｜损失、梯度与参数高效训练

前置：训练目标、数据分组与泄漏。理解一次参数更新，可以先训练只有一个权重的分类器。输入x是一个特征，sigmoid(wx)输出概率，二元交叉熵惩罚错误概率，梯度为(p-y)x。学习率决定每步走多远，过大会震荡，过小收敛慢。

本章阅读

1. 损失、梯度与参数高效训练
2. 因果语言模型的掩码、LoRA与断点

正文给出第一次完整实验，练习要求你改变其中一个条件并解释影响。完成后对照本章答案。