第2章｜量化、KV缓存与吞吐预算

前置：模型制品、模板与可重复加载。权重内存粗估为参数量×每参数bit/8，还需量化尺度与元数据。推理还要为KV缓存、工作缓冲、激活和并发留空间，不能把“7B×4bit约3.5GB”当作整机最低配置。

本章阅读

1. 量化、KV缓存与吞吐预算

正文给出第一次完整实验，练习要求你改变其中一个条件并解释影响。完成后对照本章答案。