各家发布会都在卷上下文长度,但实际用起来,长文档中间的关键信息经常被模型忽略。这不是错觉,而是有明确的技术原因。
注意力的稀释
注意力本质上是归一化的权重分配。上下文越长,单个 token 能分到的注意力越薄,中间段内容被忽略的现象就越是明显。
KV 缓存的成本
推理时的 KV 缓存随上下文长度线性增长,显存压力直接限制了并发能力。这也是厂商在推各种压缩与分层缓存方案的原因。
实践建议
与其硬塞十万字,不如做好检索与摘要:把相关信息放到上下文的开头和结尾,中间放低权重的背景材料。
上下文越长并不等于记性越好。从注意力稀释与 KV 缓存两个角度,聊聊长上下文的真实成本。
各家发布会都在卷上下文长度,但实际用起来,长文档中间的关键信息经常被模型忽略。这不是错觉,而是有明确的技术原因。
注意力本质上是归一化的权重分配。上下文越长,单个 token 能分到的注意力越薄,中间段内容被忽略的现象就越是明显。
推理时的 KV 缓存随上下文长度线性增长,显存压力直接限制了并发能力。这也是厂商在推各种压缩与分层缓存方案的原因。
与其硬塞十万字,不如做好检索与摘要:把相关信息放到上下文的开头和结尾,中间放低权重的背景材料。