跳到正文
原文
BestBlogs.dev· Papers Mache·· 8 小时前AI 评分38

MemFold 用 256 个软记忆向量拓展 LLM 上下文,带来 4 倍提速

软记忆拓展上下文长度,带来 4 倍提速

AI 导读

MemFold 将任意长度的对话历史压缩为 256 个连续潜向量构成的固定预算软记忆,读取模型可像处理标准 token 一样直接接入,在 PersonaMem-128K、PrefEval 和 LongMemEval 等基准上达到或超越全上下文准确率,同时使可用用户上下文翻倍并大幅降低推理开销。

来源:BestBlogs.dev · bestblogs.dev