长上下文技术：突破窗口的三条路

本文基于模型知识整理（生成时未联网核对），技术细节建议对照位置插值与 LongRoPE 等论文复核。

一句话定义

把上下文窗口从训练长度（4k~8k）扩展到 128k~1M 的三条路线：① 位置编码改造（RoPE 插值/NTK 缩放——让位置机制"兼容"更长序列）+ 少量长文本微调；② 架构改造（滑窗注意力+全局锚点、外部记忆）；③ 检索增强（把"全部塞进窗口"换成"只检索相关片段"）——实践中三条路组合使用。

为什么重要

长上下文是 LLM 的核心能力维度（整本书、整代码库、超长对话）——但"标称窗口"与"有效利用"是两回事（lost in the middle：中间信息利用率骤降）。本条是 kp-005 瓶颈（出路一）、kp-009（RoPE 改造）与检索增强（kp-030 姊妹篇）的汇合战场。

前置知识

kp-005（O(n²) 瓶颈）、kp-009（RoPE 与外推）。

核心概念

• 路线一：位置编码改造（保架构改坐标）：

- 位置插值（PI）：位置 m→m/L 线性压缩进训练范围（kp-009）——数百步微调即可扩展数十倍； - NTK-aware/ByY动态缩放：按频率分层缩放（低频不动保近距精度、高频压缩适配远距）——免微调也勉强可用； - LongRoPE 进化版：搜索非均匀缩放方案。 代价与恢复：插值损失近距分辨率 → 数十亿 token 的长文本继续预训练（"长度扩展训练"已是标准工序）。

• 路线二：架构改造（改注意力的范围）：

- 滑动窗口（SWA）：每 token 只看前 w 个（Mistral）——叠层后感受野 L×w 仍覆盖全局信息流（信息可以层层前传）； - 全局锚点：少数 attention sink token 全局可见（ StreamingLLM 的发现：初始 token 天然是注意力汇聚点——保留它们即可无限流式）； - 外部记忆：窗口外内容压缩到记忆向量（压缩 transformer 思路）。

• 路线三：检索增强（RAG）：不扩窗口，检索"相关片段"放入窗口——无限知识、成本线性；代价是检索质量成为上限、多跳推理弱（kp-030 姊妹篇的定位说明）。
• 有效上下文 vs 标称上下文："Lost in the Middle"（Liu 2023）：模型对窗口中部信息的召回显著低于首尾——长上下文能力=长度×利用率的乘积；评测（大海捞针 NIAH）必须分深度测。

原理与机制

为什么插值能救外推（kp-009 机制的展开）：RoPE 的高频维度在训练长度外角度"超频"（注意力分数噪声化）；线性插值把全部角度压回训练分布——以牺牲近距离分辨率为代价保住远距的"合理性"；分层缩放（NTK）则按"各维度负责的距离尺度"分别处理——低频维度天然该管远距（缩放它）、高频管近距（不动它）。

为什么流式推理要保 attention sink：softmax 必须分配权重到某处——实证发现模型把大量注意力倾注在初始 token（无论语义）作为"无处的去处"；流式生成若丢掉初始 token，性能崩塌。注意力 sink 的发现是"先观察反常、再逆向利用"的范例。

RAG 与长上下文的经济学：长窗口成本 ∝ 上下文²（kp-005）且推理延迟上升；RAG 成本 ∝ 检索量+短窗口——长文档问答"长窗口一次付清" vs "RAG 持续付费"的选择，取决于查询频率与文档更新频率（两派权衡 kp-031 的工程面）。

图示

路线一 位置改造: RoPE插值(m→m/L) + 长文本续训
                 NTK分层缩放(低频管远/高频管近)
路线二 架构: 滑窗SWA(层叠感受野) + attention sink锚点
             + 外部记忆压缩
路线三 检索增强: 检索相关片段入窗 (RAG)
有效上下文 ≠ 标称: lost in the middle → 按深度评测(NIAH)
组合: 插值微调 + SWA + RAG = 128k~1M 的现实配方

直观类比

扩窗口像"把书桌加大"：位置插值像"把字缩小一号塞进原桌"（能放更多但要看清需要适应）；滑窗像"只摊开手边几页、其余上架"；检索增强像"雇个图书管理员"——不看整屋藏书，只按需把相关的几页递到桌上（递得准不准成了新瓶颈）。

实例或案例

• 位置插值（Meta 2023）：Llama 2k→32k 的扩展范式——"最小改动扩长"的标杆。
• Gemini 1.5 的 1M~10M：长上下文的当前天花板（技术组合未完全公开）。
• 大海捞针评测：不同深度/不同窗口下插针测试召回——长上下文评测的标准动作。

常见误区

• 误区一："窗口翻倍=能力翻倍"。标称长度↑ 但中部利用率问题仍在——采购模型要按 NIAH 深度评测而非宣传数字。
• 误区二："纯位置插值免训练搞定"。免训练外推是应急；可靠的长上下文需要长文本继续预训练（数据工程不可省）。
• 误区三："长窗口让 RAG 过时"。长窗口成本高且利用率有限；RAG 在知识新鲜度、权限、成本上仍不可替代——两者是组合不是替代。

与其他知识点的关系

• kp-005/009/021：瓶颈、RoPE、FlashAttention 的三线汇合。
• kp-023：长上下文的 KV 显存放大器。
• kp-030：RAG 的完整生态。

自测题

1. RoPE 位置插值的原理与代价？

答：位置 m→m/L 压缩进训练角度范围（兼容长序列）；代价是近距分辨率下降——需长文本微调恢复。

1. 什么是 attention sink？对流式推理的意义？

答：初始 token 被模型当作注意力的"垃圾倾倒点"（softmax 需分配权重）——流式生成必须保留它们否则性能崩塌。

1. 为什么"标称 128k"不等于"有效 128k"？

答：lost in the middle——窗口中部信息召回率显著低；需要按深度的大海捞针评测衡量真实有效范围。

延伸阅读

• Chen 等, "Extending Context Window via Position Interpolation"（2023）。
• Xiao 等, "Efficient Streaming Language Models with Attention Sinks"（2023）。
• Liu 等, "Lost in the Middle"（TACL 2023）。