← 回到书房

研究论述

经验如何成为可继承、也可改变的能力?

AMS 的研究纲领:从经验的承载、当下的作用与持续的改变,研究跨时间的智能。

Agent Memory Study 从 agent memory 出发,研究信息、经验与智能的跨时间关系。我们关心一段经历留下了什么,它后来怎样被找到、理解和运用,以及一次新的经历怎样改变已有的处理方式。信息检索、数据系统、表示学习和认知科学都可以成为独立深入的研究对象。一个基础概念被讲清、一种机制被推导出来,本身就构成研究的进展。

我们的工作论点

研究跨时间的智能,应当把“继承关系”作为分析单位:过去通过什么状态留下来,在什么条件下参与当下,又怎样被新的经验改变。

这里的继承关系包含来源、承载形式、作用机制和改变条件。它可以发生在文档与查询之间,也可以发生在训练经历与参数、早先 token 与缓存、事件与概括之间。我们用它追踪联系,不预先认定这些机制等价。

这个论点带来一个研究选择:遇到一种 memory 方法,先问它使什么关系变得可能。它可能让一次性的经历可以复用,让分散的事件形成概括,让已经失效的判断能够修订,也可能让信息产生不合时宜的影响。随后才问这些关系由什么机制实现、付出什么代价、在哪些条件下成立。

这是 AMS 的方法性主张,仍可修订。它不是关于所有智能的统一理论,也不承诺所有进步都能够用同一组指标衡量。

一个值得反复追究的张力

想让经验跨情境发挥作用,就需要保留一些区别、舍弃另一些区别。保留全部细节可能妨碍寻找共同结构;过早概括又可能消去决定适用性的条件。相似的张力出现在精确匹配与泛化、稳定状态与持续更新、主动回忆与不受干扰的行动之间。

AMS 不预设这些都是固定的零和取舍。更好的表示、任务定义或更新机制,可能同时改善两边。我们真正想知道的是:哪一个区别在当前问题里有作用,系统把它保存在哪里,什么时候又必须重新区分。

例如,原创设定中,两条记录分别说“旧版接口使用 A”和“新版接口使用 B”。如果表示只留下“最近一次建议 B”,时间上的新旧替代了版本上的适用关系。保存版本标签能够保留这个区别,但后来的选择仍然必须消费它。这个推导解释的是这项具体变换会丢失什么,并不证明现实系统都会犯同一种错。

现有研究怎样改变了我们的问题

早期 AMS 按 agent memory 的 failure surfaces 组织材料。这套观察方法仍有用:它帮助我们辨认信息在哪一处失去作用。但已有工作也把问题推向了更宽的范围。

  • 候选竞争研究让“保存了什么”与“有限名额让谁到场”分开。由此可以继续研究相关性、冗余、表示和选择,而不必始终讨论某个 memory 产品。
  • 更正与范围研究把新信息与适用条件放到一起。下一步值得理解的是修订关系如何形成、如何被消费;固定标签下的规则输出已经不能回答全部问题。
  • 学习与纠正研究让保存经历和改变选择规则成为两个可分别观察的对象。结构化小实验不能替代自然语言效用评价,但它为“应该改变什么、应该保留什么”提供了具体起点。
  • 缓存撤回研究提示我们检查来源与派生状态之间的计算依赖。其单模型观察不能直接外推到文本概括或跨模型转移;恰恰是这种差异,使机制之间的对读值得继续。

这些结果各有自己的方法与适用范围。它们支持我们提出更好的问题,没有共同证明一个普适的 memory 定律。旧的审计与 receipt 是可复核的资产;研究的下一步也可以是理论、概念史或新的解释。

三条长期方向

我们暂时沿三条方向组织持续的注意力。它们是可调整的研究关切,不是三个互不相干的项目。

经验的形式。 原话、结构、向量、规则和参数各自让什么区别可被保留、表达或泛化?从输入的切分到知识的组织,表示怎样改变可做的事情?进入经验怎样获得形式。

当下的相关性。 一个地址、一个相似邻居、一条相关证据,怎样成为此刻真正能参与判断的信息?需求、检索、排序与使用之间有哪些需要解释的关系?进入过去怎样进入当下。

改变与继承。 写入、修订、学习、撤回和遗忘分别改变哪种状态?怎样在改变一部分行为时保留另一部分,又怎样判断变化确实来自经验?进入系统怎样改变。

领域地图提供知识定位:数据、表示、索引、检索、记忆、学习、控制、评价。方向表达为什么值得反复回来。两者都允许交叉与暂未归类;它们不代表已经掌握八门学科,也不决定每一次学习的入口。

范围如何保持开放

AMS 有重心,也需要被新知识改变。一次关于分词的讨论可以走到检索评价,一篇 learned index 论文可以迫使我们重新区分“索引”的含义。一个相邻领域可以先保留自己的问题、术语和评价,再考虑它与当前研究的联系。

因此,进入不需要先证明能改进 agent memory。保留一条旁支,只需说清它带来了什么理解或为什么值得回来;当它持续改变研究问题,才考虑调整地图与方向。候选、新开的探路和长期投入分别处理。没有必读篇数、领域覆盖率或自动生成的精读债。

“继承关系”本身也要接受这种检验。如果它只能把新对象重新命名,却不能提出有区分力的问题;如果它抹平了来源中重要的概念差异;或者一个更好的解释能够组织同样的材料,我们就改写这份纲领。研究纲领为探索提供连续性,也应当承受探索带来的改变。

成果会是什么样

成果可以是一段可复用的解释、一个推导、一组互相竞争的解释、一项有边界的观察、一篇成熟论述,或者一个值得继续的新问题。工程建议与公开长文是可能的出口。研究状态本身也值得留下:我们现在怎样理解,关键依据在哪里,什么仍不能区分,下一次从哪个具体位置继续。

正文、来源与 artifact 保存在仓库中;GitHub Pages 提供阅读、连接与演算的界面;机器包从同一份内容生成。私人共学与个人理解记录由其拥有者保管。这个公开研究体不宣称知道任何人的掌握程度,也不把未经公开的对话当作研究数据。

从一个陌生的词、一段论证或一个令人不解的结果开始就可以。接下来的责任是把它研究到发生一点真实的理解变化。具体做法见AMS 怎样学习与生长。

这是 AMS 的编者论述。来源、原创推演与既有研究的边界在正文分别说明;不包含私人共学记录或新的模型实验。

带走这份公开研究

Markdown ↓JSON ↓

含当前正文、出处、阅读范围与接续线索;链接的全文不随包附带。

已打开研究论述:经验如何成为可继承、也可改变的能力?