大型语言模型()在扩展对话和分析等任务中存在上下文窗口有限的局限性。为了解决这个问题,作者提出了虚拟上下文管理,这是一种受传统操作系统的分层存储系统启发的技术。他们引入了memgpt系统,该系统管理不同的存储层次,在llm有限的上下文窗口中提供扩展的上下文,并利用中断来管理其与用户之间的控制流。作者在两个领域评估了他们基于操作系统的设计,其中现代llm的有限上下文窗口严重限制了其性能:文档分析和多会话聊天。
原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/yun262289.html