多模态与实时交互：从可观察过程理解应用

把图像、音频和视频视为带时间与来源的数据流，理解采样、同步、打断、背压和可观察延迟。多模态模型能解释输入，但应用仍负责资源和会话状态。

从哪里开始

需要Python集合、函数和基本事件流概念；先理解模型请求与取消。包含标准库机制、真实媒体文件/OCR检索引用、真实SDK转录归并与本地WebSocket以及有条件的云端/设备入口。云端模型和实际麦克风未实测，协议夹具不代表识别质量。

按下面顺序阅读，每章先运行正文，再做输入发生变化的练习。代码各自保存为 lab.py，使用 Python 3.11+ 执行 python3 lab.py。框架例子会另给安装步骤；纯标准库实验无模型调用费用。

阅读顺序

1. 图像、音频与视频的输入契约：先理解过程，再改变输入。
2. VAD、打断与陈旧事件：先理解过程，再改变输入。
3. 同步、背压、延迟与质量评估：先理解过程，再改变输入。

完整目录见学习路线。