各家发布会都在卷上下文长度,但实际用起来,长文档中间的关键信息经常被模型忽略。这不是错觉,而是有明确的技术原因。

注意力的稀释

注意力本质上是归一化的权重分配。上下文越长,单个 token 能分到的注意力越薄,中间段内容被忽略的现象就越是明显。

KV 缓存的成本

推理时的 KV 缓存随上下文长度线性增长,显存压力直接限制了并发能力。这也是厂商在推各种压缩与分层缓存方案的原因。

实践建议

与其硬塞十万字,不如做好检索与摘要:把相关信息放到上下文的开头和结尾,中间放低权重的背景材料。