在用户输入时预热研究上下文缓存

目标

降低重复使用大型研究上下文时的首token等待时间。

步骤

1. 当用户聚焦输入框或开始键入时，后台立即发送只含一个输出token的缓存预热请求，并使用即将提交的相同上下文。 [source13]
2. 用户提交后发正式请求，核对cache_read_input_tokens确认命中；为预热与正式请求使用相同上下文和会话边界。 [source13]
3. 对比普通缓存和提前预热的TTFT及成本；空闲超时后停止预热，并避免在不同用户之间共享私有上下文。 [source13]

验证方式

同一大型上下文的正式请求显示缓存读取，TTFT相对未预热基线下降且没有跨用户数据混用。

故障处理

无缓存命中时检查预热/正式上下文是否完全相同及TTL；小上下文收益有限，避免为不会提交的问题反复消耗请求。