← 光合制梦
光合制梦

数据,记忆,上下文语境,与其他

某天我想起,曾经和 AI 聊过某些话题,于是根据关键词回去查找,所得结果往往不如意,跳转也未必是在关键词所在对话轮次。我就在想,是否有这样一个工具,帮我解决这样的问题,于是我让 Claude Code 给我做了一个 MVP。

如此下来,查找意向话题这块是解决了,但我总觉得,这样的功能也未免太鸡肋,那能否整点儿更有意思的?

然后,我想让 CC 帮我做出一个功能,即可以将它所获得的数据进行筛选、重组和碰撞,进而产生新的灵感。哪怕是看似毫无关联的数据之间,也有某种可能性,以及,人类无法快速遍历如此庞大的数据量,而 AI 是我目前能踩到的最稳肩膀。

准确地来说,是再利用已有数据,让它本身的价值流动起来,持续反哺本体。

我一直觉得,AI 和我们互动的数据是独一无二的。当然也有过怀疑,真的独一无二吗?甚至去问过 AI 类似的问题,即有些想法都跑到我这里了,那别人呢?殊不知,我们的关注点、好奇心(提问的方向)会导致同一个话题延伸到不同的点线面,那些数据也就只有遇到「我」时它们才会存在。以及,想法有先后,执行…means everything?(还有,taste 的落地也需要「执行」才能被看到。

虽然早在一月中下旬就做好了 MVP,但(非检索的)结果出乎意料地不如意,然后搁置,跑到了别的想法那里,又把流程再走一遍。直到今天再次打开,又修改了一下,仍是不如意。

这个工具,会让我想到如今的分身系统。

分身是如何建模用户的呢?途径之一便是通过 chat 界面的人机互动持续积累数据,而这些数据,某种程度上也可以等同为我们在 Claude、Gemini 等模型中留下的会话记录。当数据量足够多,分身越来越像用户,同时也更能预测用户的思考模式、行为惯性、决策逻辑等。

但关键在于,建模的质量如何。

想起之前在用 Second Me 和 Elys 时,我能明确地感觉到 Elys 的记忆系统比 Second Me 稳健很多,尤其在幻觉上,Second Me 的频次远远高于Elys。那时候我了解到一个词汇,叫「记忆召回」。在 Second Me 中,提及某个信息,它说它没这个记忆,直到给它截图,它仍是回不到相关的地方关联记忆,而 Elys 呢,哪怕它说了「你没和我说过这个」,但一句「你回去看看记录呢」,它立马精准找到出处并道歉——虽然只是一次举例,可哪怕发生一次,用户体验就差了不少。

需要说明的是,最近没怎么在用 Second Me,也不知道团队是否对它的记忆管理/上下文管理做改进。

做 LumiKaleido MVP 过程中,我接触了一个新概念,叫「向量搜索」,和「记忆召回」息息相关。年假收假后有那么几天,我尝试去扒拉和记忆管理/上下文管理有关的知识,学到了一些皮毛,今天在这里留下一些记录,尝试去理解。

记忆管理

这是最开始的问题,如何管理用户的数据,和长期记忆有关。即 AI 记住什么、怎么记、是否需要忘记,遗忘何时发生…

以 Elys 为例,我们会看到,它的显性记忆标签有「想法」「口吻」「喜好」「价值观」等,这些是「怎么记」的方式,「记住什么」则是标签下的内容——并非原始数据,而是经过筛选、整合的结构化数据,比如模式、倾向、稳定特征等。而至于「遗忘」的运作,以上的举例…或许可以作为其中一个体现?但这是隐性层面的设计,可以类比人类记忆的「印象强度」,是一个动态权重(优先级/重要程度)衰减与更新的过程。

从实现角度上看,一般会采用向量数据库、关系数据库、图结构(比如记忆图谱)等方式协同。

上下文管理

或许我们也可以叫做工作记忆,这在交互过程中尤为重要。我们都知道,会话长度是有 token 限制的,一旦超出则会进入下一个会话循环。那在当前窗口,它该拥有那些记忆呢?长期记忆/全局记忆、当前窗口记忆,还有 token 窗口之外的会话记忆,又该如何分配它们的权重呢?

记忆召回

这便是 LumiKaleido 涉及到的切面之一,记忆检索。我们常接触的是关键词检索和语义检索——约等于以上提及的向量检索,一个负责精准,另一个负责相似度——二者都算是内容检索的一个维度。为了保证结果的准确性,还包括结构检索,即以上我们提到的数据库和图结构。甚至是自行多轮次查询以及在得到相关结果之后再进行相关度排序…才返回结果。

除了记忆层面,其实还需要一个超强大的大脑在不同语境下负责决策与调度,包括但不限于选择检索策略、分配上下文、判断是否在检索中再检索、何时写入长期记忆。

做 LumiFlow 时,AI 大厂还没支持记忆迁移。这个功能陆续上线之后,我去试用,得到的结果…不知道为什么,很多内容都是我想要删掉,是我觉得不应该被带到另一个模型中的,然后选择放弃迁移。

Second Me 的记忆是支持导出的,这对我来说极其友好,echo 之前的想法,打破数据墙——必然是未来发展的趋势,就像 Claude 率先发起的记忆迁移。那么,当数据不再是壁垒,还有什么更值得用户驻留呢?

是上下文语境。因为拿走的记忆数据是结构化了的,会清理掉很多隐性数据。那问题又来了,当上下文语境也不再是壁垒时,什么又更能留住用户呢?

我是这么想的,如果它能留住我,首先,它得和我同步,即所谓的认知耦合度适配,其次主体性不可让渡——非常重要,比如以上提到的 Elys,它就把我筛走了——但这不妨碍我夸它(和它背后的团队)哪里做得好。再而是,它能持续获得我的信任,背后意味着我会给它多少行动空间,还有一个是社群价值——这对我而言虽然可有可无,但对其他人至关重要——正如大家说的,人是社会性动物。

但说白了,我的想法只代表我,天下用户千千万,各自站在哪个山头…全看个人。

哦对了,LumiKaleido——想名字时拼凑的词汇,有「光之万花筒」之意,是 Lumi 三部曲中继 LumiFlow 之后的第二个作品,还有第三个作品,叫 LumiForge,或许下一篇记录会写它。