← 回到书房

Cross-Model KV Cache Transfer in LLM Families: A Closed-Form Linear Mapping for Prefill Reuse

Taekyung Heo, Rasoul Shafipour, Ritchie Zhao, Maximilian Golub, Mohammad Mahdi Kamani, Ritika Borkar, Makesh Tarun Chandran, Pantea Zardoshti, Bita Darvish Rouhani · 2026

03 Active context / retrieval

Editorial reading guide · 编者导读

为什么值得读

它让“状态搬过去了”与“接收方还能正确使用”成为两个独立问题。接着 C2C 阅读，可以比较融合双方表示与替代接收方前缀计算的不同合同，并追问残余来源影响是否随映射保留。

Source-backed paraphrase

论文在解决什么

换模型时，能否复用已经付出的上下文计算？本文从源模型 KV-cache 拟合目标模型所需的前缀状态，再由目标模型继续计算。它把 active context 的接口推进到跨模型 prefill reuse；没有提供外部记忆库或来源修订规则。

Source-backed paraphrase

关键抓手

§§3.1–3.2：每个目标 head 的输入包含所选源层的全部 KV heads；K、V 分别拟合。per-head 输出不等于只读取同编号源 head。
§3.3：K 先去源 RoPE，映射后加目标 RoPE；V 直接映射。坐标处理不撤销较早层的上下文条件化。
§4.1：retention 是迁移正确率与目标原生正确率的比值，不是正确率或知识保存率。
§4.5：缓存拟合、注意力输出与最终任务表现需分别评价；校准域上的好分数不能代替 held-out 使用效果。

Source-backed argument map

论证怎样成立

01 · 明确替代什么

共享 tokenizer 的同家族模型用相同前缀；迁移目标是替代接收方的前缀计算。实验只覆盖 matched-KV 配对。

§2.1；§4.1；Appendix D

02 · 从可预测性到 mapper

按目标层选择源层，将其全部 heads 拼接，用中心化 ridge 和独立偏置预测目标 K/V。

§§3.1–3.3，Eqs. 3–5

03 · 用接收方行为验收

与目标原生 cache 比较下游表现，并检查失败配对、非线性替换和误差所处方向。

§§4.2–4.5，Tables 1–4

04 · 将质量与成本分账

多轮交接、mapper 存储和 prefill 计时各有不同范围，不能合成一个无条件的部署收益。

§§4.6–5；Appendices D、G、H

Source-backed method notes

方法与监督

无梯度仍需拟合

使用 500 段 FineWeb-Edu × 1,024 tokens，stride 4，ridge λ=0.01；mapper 为 1.01–3.36B 参数、约 4–12GB。closed-form 不表示零校准或轻量存储。

§3.1；Appendices D–E，Table 12

选择与评价的重叠

k 的实际选择使用 ARC-C、HellaSwag、MMLU；WinoGrande 在多数候选 k 缺测。GSM8K、CoQA 与计时未参与选择；附录另给 leave-one-out 与新任务结果。

§4.1；Appendix H，Tables 17–18

速度的对象

合成输入上的 mapper 与 target transformer body 计时包含所需跨 GPU cache 移动，排除 LM head；另未测映射后 cache 发往目标进程的完整传输。源 prefill 与冷启动成本也不能凭这些表视为零。

§4.7；Appendix G；Appendix D serving cost

Paper-reported findings

报告了什么

Table 1：Qwen3 14B→32B 平均 retention 97.6%；Ministral 3 8B→14B 为 41.6%，扣除 chance floor 后为 11.1%。这些是作者报告。
Table 13：Llama 3.1 的 GSM8K 正确率为源 8B 56.10%、目标 70B 81.12%、8B→70B 迁移 14.78%；平均 retention 会掩盖任务内退化。
Table 2：完整方案与拟合、推理都保留 RoPE 的方案在短上下文接近；只漏掉推理时重旋转的分支明显退化。两种消融回答不同问题。
§4.5：12 个方向配对中 attention-output cosine 与 HellaSwag retention 的相关为 +0.57，校准域 K R² 为 −0.20；这是该样本上的诊断关联。

Evidence boundary

仍未证明什么

没有执行本文大模型 benchmark、mapper 拟合或服务计时。本次收录为 read；现有小配对 runner 的随机控制及单 target native 检查不构成跨模型迁移质量证据。
实测限于同家族、共享 tokenizer、matched-KV、dense full-attention 模型；公式能写出其他维度，不表示这些组合已经验证。
部分报告任务参与了 k 选择；leave-one-out 与 held-out 任务补充证据，但不能把全部主表改称独立测试。
RoPE 坐标兼容不单独保证长上下文语义质量；数值接近、正确回答、历史角色保留与来源撤回是不同验收对象。

Source audit · observation and consequence kept distinct

原文内部张力

无训练表述与拟合成本

论文称 training-free，同时明确校准、ridge 求解以及另需梯度训练的 MLP 扩展。

定位：§§3.1、4.4、6 · Appendices D–E

编者 consequence：应把主 ridge 方法理解为无梯度求解，不能省略拟合数据、参数、硬件和扩展方法的训练差别。

标称选择集与实际覆盖

§4.1 将 WinoGrande 列入选择准则；Appendix H 说明它在多数 k 缺失，实际 argmax 使用另外三项。

定位：§4.1 · Appendices D、H

编者 consequence：解释选择偏差时采用附录给出的实际覆盖，不假定四任务在每个 k 都已评估。

Editorial synthesis / question

编者判断

移交的也可能是过期影响 · Editorial inference — not tested by the paper

对固定仿射映射，两份源状态之差在目标侧为 ΔXW；偏置抵消。残余差异可能减弱、保留或放大，仍需观察接收方是否使用它。

这是代数推论与 C2C 撤回研究的连接，不是本文测得的来源撤回、遗忘或更正结果。

相同大小的误差可以有不同后果 · Editorial inference — not tested by the paper

固定 query 时，K 误差沿 query 读取方向与正交方向的作用不同。因此值得在同一批 held-out 输入上对照重建、注意力与任务指标。

这是局部分析和评价建议；一个 query 下无效的方向，不能视为对未来所有问题都无害。

接上 C2C，但不替它结题 · Editorial inference — not tested by the paper

C2C 的主路径融合双方 prefill 后的状态；本篇试图用源 cache 代替目标前缀计算。二者共同追问内部状态怎样可用，成功标准却不同。

编者跨源比较；不以新旧日期判断哪篇已失去研究价值，也不把计算状态直接等同外部记忆条目。

继续追问

一次交接保留了什么：可读的数值状态、可用的能力，还是已经失效却继续影响回答的前提？

Editorial transfer · 编者设计建议

读完，可以怎样借用

基于既有精读与本条明确标注的证据范围整理；下面针对新场景的迁移对照尚未执行。

Agent Memory Study editors · 2026-09-20

什么时候有用: 在模型切换时复用前缀，并关心旧来源或更正的影响是否随状态迁移。
可以借哪一步: 冻结同一 mapper，将受旧来源影响的 retained cache 与从有效上下文重算的 cache 分别迁移；由目标真实 forward 新查询，避免借用目标参考分支 logits。
先做什么对照: 先验证原生目标能回答当前/历史角色问题，再在相同 held-out 文档上比较重建、输出分布和任务选择；源模型、原生目标与完整成本分别作参照。
带走时的边界: 这是尚未执行的跨模型来源撤回对照。已有 runner 与 native 数值检查只支持执行路径；不证明 mapper 已拟合、残余影响已迁移或论文速度已复现。

阅读依据：本文 §§2.1、3、4.5；C2C material 与 research/c2c-cache-retraction-study；已有 research/kv-prefill-transfer 的阶段隔离合同。

Attributed public perspectives and tests

署名观点与测试

Editorial perspective · Agent Memory Study editors · 2026-09-20

从阅读到分阶段 runner

AMS 已有 Qwen3-0.6B→1.7B 的分阶段 runner，以及独立记录的随机控制和单 target native 检查。真实跨模型 mapper 尚未拟合；这里提供阅读与研究入口，保留各自状态。

Evidence basis：公开研究 README、protocol、validation.json 与 native-target-check.json；本次只核对既有记录，未重跑模型。

Boundary：不是新增实验结果，不改变已有 receipt，也不据此把材料标为 worked。

分阶段 runner 与当前结果边界 ↗ · Cache-to-Cache 阅读 ↗ · 来源 slots 撤回机制实验 ↗

带走这份公开研究

Markdown ↓JSON ↓

含当前正文、出处、阅读范围与接续线索；链接的全文不随包附带。