开源模型与本地推理：从可观察过程理解应用

从权重、tokenizer与许可，到量化内存、推理服务和基准测试。能下载的权重不一定适合商用，能装入内存也不等于能满足交互延迟。

从哪里开始

需要HTTP、JSON与Python基础。先掌握模型请求和上下文概念；硬件实测与标准库容量估算分开进行。

按下面顺序阅读，每章先运行正文，再做输入发生变化的练习。代码各自保存为 lab.py，使用 Python 3.11+ 执行 python3 lab.py。框架与真实解析/训练例子会另给固定Python3.12环境及安装步骤；纯标准库实验无模型调用费用。

阅读顺序

1. 模型制品、模板与可重复加载：先理解过程，再改变输入。
2. 量化、KV缓存与吞吐预算：先理解过程，再改变输入。
3. 本地服务、兼容接口与维护：先理解过程，再改变输入。

完整目录见学习路线。