MemoryBank:Enhancing Large Language Models with Long-Term Memory
模型中缺乏长期记忆机制。这种不足在需要持续互动的情况下变得越来越明显,如私人伴侣系统、心理咨询和秘书协助。认识到长期记忆的必要性,我们提出了MemoryBank,这是一种为LLM量身定制的新型记忆机制。记忆库使模型能够唤起相关记忆,通过不断的记忆更新不断进化,通过合成以前交互的信息,随着时间的推移理解和适应用户的个性。为了模仿拟人行为并选择性地保存记忆,记忆库引入了一种记忆更新机制,其灵感来自埃宾
MemoryBank建立在一个具有内存检索和更新机制的内存存储器上,能够总结过去的事件和用户的个性。通过不断的记忆更新不断进化,通过合成以前交互的信息,随着时间的推移理解和适应用户的个性,允许LLM根据经过的时间和记忆的相对重要性来忘记和强化记忆,从而提供更像人类的记忆机制和丰富的用户体验(需要持续互动,如私人伴侣系统、心理咨询和秘书协助)
包容性强,对ChatGPT这样的封闭源代码模型和像ChatGLM这样的开放源代码模型方面是通用的
MemoryBank思想在作者源码上体现的很简单,就是他每次出现查询请求时,都会遍历一遍历史对话记录,然后当前查询的内容遗忘保留率s+1(有具体的数学模型,可以参考链接:https://www.zhihu.com/question/364132423,但是作者为了方便简化了),作者的数学模型就是e^(-t/s),然后计算出这个遗忘强度值,然后用random随机数进行比较,当大于就删除这个,小于就保留,就实现了艾宾浩斯记忆曲线可以遗忘和增强记忆的功能。
原文链接:https://ojs.aaai.org/index.php/AAAI/article/view/29946
以下是翻译和个人理解:
摘要
大型语言模型(LLM)的革命性进步极大地重塑了我们与人工智能(AI)系统的互动,在一系列任务中表现出令人印象深刻的性能。尽管如此,一个显著的障碍仍然存在——这些模型中缺乏长期记忆机制。这种不足在需要持续互动的情况下变得越来越明显,如私人伴侣系统、心理咨询和秘书协助。认识到长期记忆的必要性,我们提出了MemoryBank,这是一种为LLM量身定制的新型记忆机制。记忆库使模型能够唤起相关记忆,通过不断的记忆更新不断进化,通过合成以前交互的信息,随着时间的推移理解和适应用户的个性。为了模仿拟人行为并选择性地保存记忆,记忆库引入了一种记忆更新机制,其灵感来自埃宾浩斯遗忘曲线理论。这种机制允许人工智能根据经过的时间和记忆的相对重要性来忘记和强化记忆,从而提供更像人类的记忆机制和丰富的用户体验。MemoryBank在容纳像ChatGPT这样的封闭源代码模型和像ChatGLM这样的开放源代码模型方面是通用的。为了验证MemoryBank的有效性,我们通过在长期人工智能伴侣场景中创建一个名为SiliconFriend的基于LLM的聊天机器人来举例说明其应用。进一步调整心理逻辑对话数据,SiliconFriends在互动中表现出更高的同理心和辨别力。实验包括对真实世界用户对话框的定性分析和对模拟对话框的定量分析。在后者中,ChatGPT充当具有不同特征的多个用户,并生成涵盖广泛主题的长期对话上下文。我们的分析结果表明,配备MemoryBank的Sili-conFriend具有很强的长期陪伴能力,因为它可以提供有力的反应,回忆相关记忆,了解用户个性。这突出了MemoryBank的有效性
1 引言
大型语言模型(LLM)的出现,如ChatGPT(OpenAI,2022)和GPT-4(Open AI,2023),导致了从教育、医疗保健到客户服务和娱乐等各个行业的影响力不断增加。这些强大的人工智能系统展示了理解和产生类似人类反应的非凡能力。尽管LLM具有非凡的能力,但一个关键的局限性是缺乏长期记忆,这是类人沟通的一个重要方面,在需要持续互动的场景中尤其明显,如个人陪伴、心理咨询和秘书任务。人工智能中的长期记忆对于保持上下文理解、确保有意义的交互以及随着时间的推移理解用户行为至关重要。
例如,个人人工智能同伴需要回忆过去的对话,以建立融洽的关系。在心理咨询中,人工智能可以通过了解用户的历史和过去的情绪状态来提供更有效的支持。同样,秘书人工智能需要记忆来进行任务管理和偏好识别。LLM中长期记忆的缺失阻碍了它们的性能和用户体验。因此,开发具有改进记忆能力的人工智能系统以实现更无缝和个性化的交互至关重要。
因此,我们引入了MemoryBank,这是一种新颖的机制,旨在为LLM提供保持长期记忆和绘制用户画像的能力。MemoryBank使LLM能够回忆历史互动,不断发展他们对上下文的理解,并根据过去的互动适应用户的个性,从而提高他们在长期互动场景中的表现。受Ebbinghaus遗忘曲线理论的启发,MemoryBank进一步融入了一种动态记忆机制,该机制密切反映了人类的认知过程。这一机制使人工智能能够记忆、选择性遗忘,并根据逝去的时间加强记忆,提供更自然、更吸引人的用户体验。具体来说,MemoryBank建立在一个具有内存检索和更新机制的内存存储器上,能够总结过去的事件和用户的个性。
MemoryBank是多功能的,因为它既可以容纳像ChatGPT这样的封闭源代码LLM,也可以容纳像ChapGLM(Zeng et al.,2022)或BELLE(Yunjie Ji&Li,2023)这样的开源LLM。
为了举例说明MemoryBank的实际意义,我们开发了SiliconFriend,这是一款基于LLM的人工智能伴侣聊天机器人,与这种创新的记忆机制相集成。SiliconFriend旨在保留和参考过去的互动,增强MemoryBank在打造更具个性的人工智能伴侣方面的变革影响力。SiliconFriend的一个显著特点是,它对从各种在线来源收集的38k个心理对话进行了调整,这使它能够表现出同理心、细心,并提供有用的指导,使它能够熟练地处理充满情感的对话。此外,SiliconFriend的突出功能之一是通过总结过去的互动来了解用户的个性,这使其能够根据用户的个人特征定制反应,从而增强用户体验。此外,SiliconFriend支持双语功能,可满足中英文交流用户的需求。这种多语言支持将其可访问性和可用性扩展到不同的用户组。SiliconFriend通过两个开源模型ChatGLM和BELLE以及一个闭源模型ChatGPT实现,展示了MemoryBank在适应不同LLM方面的多功能性。
为了评估MemoryBank的有效性,我们进行了包括定性和定量分析的评估,其中前者涉及真实世界的用户对话,后者采用模拟对话。为了进行定量分析,我们创建了一个由10天的对话组成的记忆库,这些对话涵盖了各种各样的主题。这些对话涉及15个不同性格的虚拟用户,其中ChatGPT扮演用户的角色,并根据他们的性格生成对话上下文。基于这种记忆存储,我们设计了194个探究性问题,以评估模型是否能够成功地回忆起相关记忆并提供适当的反应。实验结果展示了SiliconFriend在记忆回忆、提供移情陪伴和理解用户画像方面的能力。这些发现证实了MemoryBank在长期互动场景中显著提高LLM性能的潜力。在本文中,我们将主要贡献总结如下:
•我们介绍了MemoryBank,这是一种新型的类人长期记忆机制,使LLM能够存储、回忆、更新记忆和绘制用户画像。
•我们通过SiliconFriend展示了MemoryBank的实际适用性,SiliconFriends是一款基于LLM的人工智能伴侣,配备了MemoryBank,并通过心理对话进行调整。它可以回忆过去的记忆,提供同理心的陪伴,并理解用户的行为。
•我们在三个关键方面展示了MemoryBank的可推广性:(1)适应开源和闭源LLM;(2) 具备中英文双语能力;(3) 具有和不具有记忆遗忘机制的适用性。
2 记忆库:一种针对llm的新型记忆机制
专为LLM设计。如图1所示,记忆库是一个围绕三个中心支柱构建的统一机制:(1)作为主要数据存储库的记忆存储器(§2.1),(2)用于上下文特定记忆回忆的记忆检索器(§2.2),以及(3)从埃宾浩斯遗忘曲线理论中汲取灵感的记忆更新器(§2.3),这是一个经过时间考验的与记忆保持和遗忘有关的心理学原理。
2.1 内存存储:记忆库仓库
内存存储是MemoryBank的仓库,是一个强大的数据存储库,存储着一系列细致的信息。如图1所示,它存储了日常对话记录、过去事件的摘要和对用户个性的不断发展的评估,从而构建了一个动态的、多层次的记忆景观。
深度内存存储:MemoryBank的存储系统通过以详细、按时间顺序记录多回合对话,捕捉人工智能用户交互的丰富性。每一段对话都存储有时间戳,形成了过去互动的有序叙事。这种详细的记录不仅有助于精确的记忆检索,而且有助于随后的记忆更新过程,提供了会话历史的详细索引。
分层事件摘要:MemoryBank反映了人类记忆的复杂性,超越了仅仅的详细存储。它将对话处理并提炼成日常事件的高级摘要,就像人类如何记住他们经历的关键方面一样。我们将冗长的对话浓缩为简明的每日事件摘要,并将其进一步合成为全局摘要。这个过程产生了一个分层的记忆结构,提供了过去互动和重大事件的鸟瞰图。具体来说,以之前的日常对话或日常事件为输入,我们要求LLM总结日常事件或全球事件,并提示“总结内容[对话/事件]中的事件和关键信息”。
动态人格理解:MemoryBank专注于用户人格理解。
它通过长期的互动不断评估和更新这些理解,并创造日常的个性见解。这些见解被进一步聚合,以形成对用户个性的全球理解。这种多层方法产生了一个人工智能伴侣,它可以根据每个用户的独特特征学习、调整和调整其反应,增强用户体验。特别是,在日常对话或性格分析中,我们要求LLM进行推断,并提示:“根据以下对话,请总结用户的性格特征和情绪。[对话]”或“以下是用户在多天内表现出的性格特征或情绪。请对用户的性格[日常性格]进行高度简洁和概括的总结”。
2.2 内存检索
建立在健壮的内存存储基础设施之上,我们的记忆检索机制运行起来类似于一个知识检索任务。在这种情况下,我们采用了一种类似于密集通道检索的双塔密集检索模型(Karpukhin et al.,2020)。在这个范例中,每一次对话和事件总结都被认为是一个记忆片段m,它使用编码器模型E(·)预先编码成一个上下文表示hm。因此,整个内存存储器M被预先编码成M = {h 0 m,h 1 m,…h|mM|},其中每个hm都是一个内存块的向量表示。然后使用FAISS(Johnson等人,2019年)对这些向量表示进行索引,以实现高效检索。与此并行的是,会话c的当前上下文由E(·)编码到hc中,hc作为查询M来搜索最相关的内存。在实践中,编码器E(·)可以交换到任何合适的模型。
2.3 内存更新机制
通过§2.1和§2.2中讨论的持久记忆存储和记忆检索机制,LLM的记忆能力可以大大增强。然而,对于那些期望更多人类变态记忆行为的场景,需要更新记忆。这些场景包括人工智能伴侣、虚拟IP等。忘记很久以前的不太重要的记忆片段,也不会被太多回忆,可以让人工智能伴侣变得更自然。
我们的记忆遗忘机制受到埃宾浩斯遗忘曲线理论的启发,遵循以下原则:
•遗忘率。Ebbinghaus发现记忆力会随着时间的推移而下降。他在遗忘曲线中量化了这一点,表明除非有意识地复习,否则信息在学习后会迅速丢失。
•时间和记忆衰退。曲线在开始时是陡峭的,这表明在学习后的最初几个小时或几天内,大量的学习信息被遗忘了。在这个初始阶段之后,内存丢失的速度会减慢。
•间距效应。Ebbinghaus发现,重新学习信息比第一次学习更容易。定期复习和重复所学材料可以重置遗忘曲线,使其不那么陡峭,从而提高记忆力。
Ebbinghaus遗忘曲线使用指数衰减模型表示:R=e^t/S,其中R是内存保留率,或者可以保留多少部分信息。t是从学习该信息起经过的时间。e大约等于2.71828。S是记忆强度,它根据学习深度和重复次数等因素而变化。为了简化内存更新过程,我们将S建模为一个离散值,并在对话中第一次提到它时将其初始化为1。当一个记忆项目在对话中被调用时,它在记忆中的持续时间会更长。我们将S增加1并将t重置为0,因此以较低的概率忘记它。
需要注意的是,这是一个探索性的、高度简化的内存更新模型。现实生活中的记忆过程更为复杂,可能受到多种因素的影响。对于不同的人和不同类型的信息,遗忘曲线看起来会有所不同。总之,MemoryBank将这些关键组件编织在一起,形成了一个更全面的LLM内存管理系统。它增强了他们在长时间内提供有意义和个性化互动的能力,为人工智能应用开辟了新的可能性。
3 SiliconFriend:一个由MemoryBank提供动力的智能聊天机器伙伴
SiliconFriend :
1.使用38k心理对话数据对LLM进行LoRA微调
2.使用LangChain将MemoryBank集成到SiliconFriend中,为其注入一个强大的内存系统
为了展示MemoryBank在长期个人人工智能陪伴领域的实用性,我们创建了一个名为SiliconFriend的人工智能聊天机器人。它被设计为用户的情感伴侣,回忆相关的用户记忆,了解用户的个性和情绪状态。我们的实施通过整合三个强大的LLM来展示适应性,这三个LLM最初缺乏长期记忆和对心理学领域的特定适应。1) ChatGPT(OpenAI,2022)是一个由OpenAI构建的闭源对话模型,是一个专有的对话人工智能模型,以其促进动态和交互式对话的能力而闻名。该模型基于大量数据进行训练,并通过人类反馈的强化学习进行进一步微调。这种方法使ChatGPT能够生成不仅适合上下文,而且与人类对话期望密切一致的响应。2) ChatGLM(Zeng et al.,2022):ChatGLM是一个基于通用语言模型(GLM)框架的开源双语模型。该模型的特点是其62亿个参数和对汉语对话数据的特定优化。该模型的训练涉及处理大约一万亿个中文和英文文本标记,辅以监督微调、反馈引导和人类反馈的强化学习。3) BELLE(Yunjie Ji&Li,2023):BELLE是一个开源的双语语言模型,从7B LLaMA(Touvron et al.,2023。BELLE的特点是使用ChatGPT自动合成指令数据,增强了其中文会话能力。
SiliconFriend的发展分为两个阶段。第一阶段(仅适用于开源LLM)涉及使用心理对话数据对LLM进行参数有效调整。这一步骤至关重要,因为它可以让SiliconFriend为用户提供有用的、富有同情心的情感支持,反映出人们对人类伴侣的理解和同情。第二阶段是将MemoryBank集成到SiliconFriend中,从而为其注入一个强大的内存系统。MemoryBank允许聊天机器人保留、回忆和利用过去的互动和用户画像,提供更丰富、更个性化的用户体验。
使用心理对话数据进行参数有效调整:Silicon Friend开发的初始阶段包括使用38k个心理对话的数据集调整LLM。这些数据是从在线来源解析的,包括一系列对话,涵盖了一系列情绪状态和反应。这个调整过程使SiliconFriend能够有效地理解和回应情绪线索,模仿人类同伴的同理心、理解和支持。
它使人工智能能够利用心理知识处理情感引导的对话,并根据用户的情绪状态为其提供有意义的情感支持。
为了使llm适应计算资源有限的场景,我们使用了一种计算效率高的调优方法,称为低秩自适应(LoRA)方法(Hu et al.,2021)。LoRA通过学习秩分解矩阵对,显著减少了可训练参数的数量,同时保持原始权值冻结。形式上,考虑一个定义为=W×的线性层。LoRA将其修改为=×x + BAx,其中∈×,×,∈×和×min(×,×)。这种方法大大减少了需要学习的参数数量,这对于在资源有限的情况下提高效率至关重要。我们将LoRA秩r设置为16,并使用A100 GPU对模型进行3个时期的训练。注意到这一阶段只针对像ChatGLM和BELLE这样的开源llm进行。从本质上说,这一阶段为硅友作为人工智能伴侣的角色奠定了基础,确保它能够对用户的情感需求做出适当和有益的反应。
与MemoryBank的整合:SiliconFriend发展的第二阶段涉及MemoryBank的融合。这一阶段至关重要,因为它为SiliconFriend提供了存储、检索过去互动和理解用户画像的能力,从而提供更个性化、更具吸引力的用户体验。
当涉及到内存存储时,SiliconFriend和用户之间的对话会在内存存储中记录和更新,这一过程适用于各种模型主干。记忆更新机制使用受埃宾浩斯遗忘曲线理论启发的原理进行操作,从而实现逼真的、类似人类的记忆回忆过程。
在实时会话期间,用户的会话充当内存检索的查询。在实践中,我们使用LangChain(LangChain股份有限公司,2022)进行记忆检索。LangChain支持开源嵌入模型和FAISS索引,使其成为一个多功能的选择。在SiliconFriend开源版本的特定语言实现中,我们使用MiniLM(Wang et al.,2020)作为英语的嵌入模型,使用Text2vec(Ming,2022)作为汉语的嵌入模型。值得注意的是,嵌入模型可以灵活地互换,以适应不同的需求,甚至可以容纳多语言模型。在内存检索时,一系列信息被组织到对话提示中,包括相关内存、全局用户画像和全局事件摘要。因此,SiliconFriend可以生成引用过去记忆的响应,并提供针对用户肖像的互动。
总之,这些阶段将SiliconFriend从一个标准的人工智能聊天机器人转变为一个长期的人工智能伴侣,能够记忆和学习过去的互动,以提供个性化和富有同情心的用户体验。
4 实验
我们实验的主要目标是在LLM的框架内评估MemoryBank的功效,特别是其作为人工智能伴侣的能力。我们特别感兴趣的是确定嵌入长期记忆模块是否可以提高人工智能回忆历史互动的能力,并加深其对用户个性的理解。此外,我们旨在证明基于心理数据的调整是否可以增强人工智能提供更有效情感支持的能力。
定性分析侧重于三个方面:(1)SiliconFriend和基线LLM的比较研究,以评估它们在提供移情和有益的心理陪伴方面的能力;(2) SiliconFriend记忆回忆能力的研究;(3) 分析模型对用户配置文件的理解如何影响响应。此外,为了在更大范围内证明该模型在记忆回忆方面的熟练程度,我们设计了一个定性分析,使用模拟的长期对话历史和194个记忆探究问题。这个模拟的对话历史跨越了10天,涵盖了广泛的主题,由ChatGPT通过15个不同的虚拟用户的角色扮演产生,每个虚拟用户都体现了用户的个性。
4.1 定性分析
通过展示SiliconFriend能力的实例进行定性分析。为了收集这些例子,我们为SiliconFriend开发了一个在线平台,并收集了实际用户的实时对话。
心理伴侣关系:在对话中表现出同理心的能力是有效的人工智能伴侣的一个关键属性。为了评估模型为用户提供心理安慰的能力,我们将SiliconFriend显示的反应与现实世界对话中基线LLM的反应进行了比较。如图2所示,当用户表达情感困难和寻求SiliconFriend的帮助,该模型能够提供富有同情心的回应和建设性的建议。SiliconFriend的回应因其情感支持而引人注目,与其基线ChatGLM形成鲜明对比。
记忆回忆分析:为了评估SiliconFriend的记忆回忆能力,我们将记忆探究问题融入对话中。这些问题旨在提示SiliconFriend从聊天历史记录中检索具体细节。如图3所示,用户和SiliconFriend就编程学习建议进行了讨论。几天后,该用户提出了几个探究记忆的问题。SiliconFriend成功召回了之前推荐的书籍和算法。此外,它正确地识别了一个以前没有讨论过的事件(即堆排序算法)。这些例子强调了SiliconFriend成功的记忆回忆和识别能力。
个性互动分析:如图4所示,我们考察了SiliconFriend与不同个性用户的互动能力。我们观察到,它有效地根据用户的性格特征推荐适合他们兴趣的活动。该分析展示了SiliconFriend绘制与各种用户个性有效交互的能力。
4.2 定量分析
对SiliconFriend的记忆回忆能力进行了大规模的定量分析。我们要求人类注释者对从模型中检索到的记忆和反应进行评分:
(1) SiliconFriend聊天GPT;(2) SiliconFriend聊天GLM;(3) SiliconFriend BELLE。
内存存储结构:我们最初建立了一个评估基础,其中存储了10天的对话,涉及15个虚拟用户。这些用户个性各异,每天的对话至少涵盖两个主题。使用ChatGPT生成用户元信息,包括姓名、个性和感兴趣的主题。聊天GPT根据预定义的主题和用户个性,由用户进行对话合成。我们用英语和汉语创建记忆存储。在构建记忆存储后,我们手动编写194个探究性问题(97个英文问题和97个中文问题),以评估该模型是否能够准确地回忆相关记忆并适当地制定答案。表1给出了用户元信息、生成的对话和探究性问题的示例。
评估指标:模型的性能基于以下指标进行评估。(1) 内存检索精度:确定是否可以成功检索相关内存(标签:{0:否,1:是})。(2) 响应正确性:评估响应是否包含探究问题的正确答案(标签:{0:错误,0.5:部分,1:正确})。(3) 上下文连贯性:评估反应是否是自然和连贯的结构,将对话上下文和检索到的记忆联系起来(标签:0:不连贯,0.5:部分连贯,1:连贯)。(4) 模型排名分数:对同一问题和上下文的三种SiliconFriend变体(SiliconFriend-ChatGLM、SiliconFride-ChatGPT和SiliconFriende-BELE)的输出进行排名。模型的得分是使用s=1/r计算的,其中r=1,2,3表示其相对排名
没太看懂,感觉第一个评估指标有点奇怪,retrieval跟llm无关,是langchain向量库FAISS的事情
结果分析。我们使用英语和汉语测试集评估了3种SiliconFriend变体。
表2得出了以下见解:(1)我们的总体最佳变体SiliconFriend ChatGPT在所有指标上都具有高性能,表明了我们整体框架的有效性。尽管如此,他们在其他指标上的表现不如SiliconFriend ChatGPT。
这可能归因于与ChatGPT相比,基础模型(BELLE和ChatGLM)的总体能力较差。(3) 不同语言的模型性能各不相同。SiliconFriend ChatGLM和SiliconFriendChatGPT在英语方面表现更好,而SiliconFriender BELLE在汉语方面表现出色。
5 相关工作
大型语言模型:近年来,GPT-3(Brown et al.,2020)、OPT(Zhang et al.,2022)和FLAN-T5(Chung et al.,2021)等LLM在广泛的自然语言处理任务中取得了显著进展。最近,前沿的闭源语言模型,如PaLM(Chowdhery et al.,2022)、GPT-4(OpenAI,2023)和ChatGPT(Open人工智能,2022),继续显示出巨大的灵活性,适用于各种领域。它们越来越多地成为许多人日常决策的辅助工具。然而,这些模型的近源性禁止研究人员和公司研究LLM的内部机制并构建适用于领域的应用程序。因此,社区中出现了许多开源LLM,如LLaMa(Touvron et al.,2023)、ChatGLM(Zeng et al.,2022)和Alpaca(Taori et al.,2021)。有关更多详细信息,我们请读者参阅这篇综合评论:赵等人(2023)。尽管如此,这些模式仍然存在不足。一个明显的差距在于它们缺乏强健的长期记忆功能。这种限制阻碍了他们长期维护上下文并从过去的交互中检索相关信息的能力。我们的研究开始于此,主要目的是开发LLM的长期记忆机制。
长期记忆机制:已经进行了许多尝试来增强神经模型的记忆能力。记忆增强网络(MANN)(Meng&Huang,2018;Graves等人,2014),如神经图灵机(NTMs)(Graves et al.,2014)就是一个例子,旨在增加神经网络的记忆容量。这些模型的结构可以与外部内存矩阵进行交互,使它们能够处理需要长时间维护和操作存储信息的任务。尽管显示出了潜力,但这些方法并没有完全解决LLM中对可靠和适应性强的长期记忆功能的需求。也有研究关注远程对话(Xu et al.,2022022)。例如,Xu等人(2021)介绍了一个新的英语数据集,该数据集由用于长期对话的多会话人类众包聊天组成。然而,这些对话通常局限于几轮对话,无法与长期人工智能同伴的应用场景对齐。此外,这些模型往往无法创建详细的用户画像,也缺乏类似人类的记忆更新机制,这两种机制对于促进更自然的交互至关重要。记忆更新的概念在心理学中得到了广泛的研究。Ebbinghaus(1964)的遗忘曲线理论为记忆保持和遗忘随时间的变化提供了有价值的见解。从这一理论中获得灵感,我们将记忆更新机制集成到MemoryBank中,以增强其长期记忆功能。
总之,尽管LLM领域取得了重大进展,但仍需要长期记忆机制,以在需要个性化和持久交互的场景中增强LLM的能力。我们的工作将MemoryBank作为应对这一挑战的一种新颖方法。
6 结论
我们提出了MemoryBank,这是一种新的长期记忆机制,旨在解决LLM的记忆限制。MemoryBank增强了随着时间的推移维护上下文、回忆相关信息和了解用户个性的能力。此外,Memo的内存更新机制ryBank的灵感来源于Ebbinghaus遗忘曲线理论,这是一个描述记忆保持和遗忘随时间变化的本质的心理学原理。这种设计改进了人工智能在长期交互场景中的拟人化。MemoryBank的多功能性通过其对ChatGLM和BELLE等开源模型以及ChatGPT等闭源模型的适应而得到证明。
我们通过Silicon Friend的开发进一步说明了MemoryBank的实际应用,Silicon Friend是一款基于LLM的聊天机器人,旨在作为人工智能的长期伴侣。SiliconFriend配备了MemoryBank,可以更深入地了解用户,提供更多个性化和有意义的互动,强调MemoryBank将人工智能互动人性化的潜力。SiliconFriend与心理对话数据的调谐使其能够提供移情情感支持。包括定性和定量方法在内的大量实验验证了MemoryBank的有效性。研究结果表明,MemoryBank赋予SiliconFriend记忆回忆能力,加深了对用户行为的理解。此外,SiliconFriend可以提供更高质量的移情陪伴
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
所有评论(0)