MemT-1.0-Nano完全入门:让大模型拥有「永久记忆」的新一代记忆基础模型

原创2026-10-27 15:10:111,926 阅读
文章标签:人工智能基础模型大模型NLP本地部署

MemT-1.0-Nano完全入门:让大模型拥有「永久记忆」的新一代记忆基础模型

正在为大模型「记不住」发愁?MemT-1.0-Nano 是一款专为大模型记忆设计的新一代记忆基础模型:它把持久、动态演化的记忆直接写进模型计算中,无需反复回看原始上下文,也能持续记住你告诉它的信息。本文是一份面向新手的完整入门指南,带你用 10 分钟理解它的架构原理、跑通第一次「有记忆的对话」,并学会保存与恢复记忆状态。


为什么大模型需要「记忆」?

大模型普遍有个通病:对话一结束,上下文就「失忆」。传统方案是把历史全部塞进上下文窗口(即 KV cache),但历史越长,存储和计算开销越大——在 128K 历史长度下,开销约为常数级记忆的 66 倍。

MemT-1.0-Nano 给出的答案很直接:

让持久、动态演化的记忆成为模型计算的内在部分(persistent, dynamically evolving memory as an intrinsic part of model computation)。

它通过「动态局部记忆 + 可训练超记忆」两个机制保留并利用历史信息,推理时不需要访问原始上下文,记忆状态大小恒定,存储成本大幅降低。

📦 模型家族一览

模型 基座模型 总参数 激活参数 可训练记忆参数 动态记忆状态
MemT-1.0-Nano Qwen3.6-35B-A3B 36B 3B 451M 10M
MemT-1.0-Flash DeepSeek-V4-Flash 288B 17B 3.61B 336M

可以看到,Nano 版本激活参数仅 3B,属于轻量级配置,非常适合个人开发者和研究者上手体验大模型长期记忆能力。


核心架构:记忆是如何「长」进模型里的?

MemT-1.0-Nano 的架构核心是一个与主干注意力并行运行的 Native Memory Block(原生记忆块),由两部分组成:

  • Local Memory Block(局部记忆块):维护一个动态的多通道记忆矩阵,会随着每一轮交互不断演化;
  • Hyper Memory Block(超记忆块):包含可训练的记忆 Query / Key / Value 投影、擦除(erase)、写入(write)、遗忘(forget)门控以及输出门控。

工作过程可以想象成「读写笔记本」:

  1. 生成时,记忆注意力从当前记忆状态中读取信息,经归一化和门控后,叠加到主干注意力的输出上;
  2. 每一轮对话或每个片段结束时,稳定的 GDN-2 模块执行 token 级记忆更新,把新信息写进记忆状态,供后续步骤使用。

MemT-1.0-Nano 大模型记忆基础模型的原生记忆块架构图

相关的记忆超参数(如记忆头数 16、分块长度 2048、输出门控 softcap 等)都记录在 config.json 的 memt 字段中,架构实现则可参考 modeling_memt.py 中的 MemTMemory 与 MemTGatedDeltaNet 类。


记忆能力有多强?11 项基准实测

项目在 11 项记忆基准测试中进行了系统评估。结果显示:MemT-1.0-Flash 和 MemT-1.0-Nano 在所有参数化记忆方法中分别位列第一、第二。

需要说明的是:在需要精细证据检索的超长历史场景中,基于文本检索的记忆系统整体仍然更强——这也为「参数化记忆 + 外部检索」的混合方案留下了空间。

MemT-1.0 大模型记忆基准测试成绩对比图


实战应用:经验引导的 Agentic Coding

「模型会记住」最落地的场景之一,是长程编码任务中的经验复用。

MemT-1.0 引入了一套 Agent 框架:Agent 过去积累的程序性经验(procedural experience)被存入原生记忆,执行新任务时通过记忆注意力直接调用——无需把经验文本塞进任务上下文,就能提升任务表现。

MemT-1.0 经验引导的 Agentic Coding 大模型记忆应用示意图


一键安装:环境准备步骤

运行 MemT-1.0-Nano 需要 Python 3.11+,以及 CUDA 13 版本的 PyTorch 2.11.0。安装命令:

pip install transformers==5.12.1 accelerate==1.15.0 safetensors==0.8.0

如果希望通过 git 获取模型与代码:

git clone https://gitcode.com/hf_mirrors/MemTensor/MemT-1.0-Nano.git

💡 提示:模型使用自定义代码(trust_remote_code=True),加载时会使用仓库内的 modeling_memt.py 与 configuration_memt.py。

快速加载模型

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "MemTensor/MemT-1.0-Nano"  # 或本地模型目录
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,
    dtype=torch.bfloat16,
    device_map="auto",
    attn_implementation="sdpa",
)

3 步跑通「有记忆的对话」

这是本文的精华部分——感受一下什么叫「永久记忆」:

第 1 步:开启记忆会话。 用 enable_memory=True 告诉模型:这轮信息请存入潜空间记忆,并清空明文上下文。

第 2 步:直接提问。 模型会仅凭潜空间局部记忆作答。

第 3 步:观察结果。 模型准确答出了名字、年龄、爱吃的食物和特长。

session = model.create_session(tokenizer)

# 开启记忆:把本轮信息写入潜空间局部记忆,清空明文上下文
session.chat(
    "我有一只三个月大的小猫,叫 memmy,喜欢吃小虾米,特别能记住事情。",
    enable_memory=True,
    enable_thinking=False,
)

# 仅用潜空间记忆回答
print(session.chat("我的小猫叫什么?多大了?喜欢吃什么?有什么特长?",
                   enable_thinking=False))
# 名字:memmy|年龄:三个月|食物:小虾米|特长:记性好

✨ 关键点:第二次提问时,上下文中已经没有第一轮的任何文字,模型靠的是记忆状态而非文本检索。

保存与恢复:跨会话续接记忆

记忆状态可以导出为 safetensors 文件,随时恢复——恢复后的会话明文消息为空(len(restored.messages) == 0),但模型依然「记得」一切:

session.save_state("memmy_memory.safetensors")   # 保存记忆状态
session.close()

restored = model.create_session(tokenizer, state="memmy_memory.safetensors")
print(restored.chat("我的小猫多大了?", enable_thinking=False))
# 你的小猫 3 个月大。

这套「保存 → 关机 → 恢复」能力,正是大模型长期记忆走向实用化的关键一步:记忆不再依赖不断膨胀的上下文窗口。

会话类的完整实现见 modeling_memt.py 中的 MemTSession;对话模板由 chat_template.jinja 定义。


资料索引:项目文件在哪里看?

文件 内容
README.md 项目概览、Quick Start 与引用信息
modeling_memt.py 模型完整实现(记忆块、GDN-2 更新、会话管理)
configuration_memt.py 自定义配置类 MemTQwen3_5MoeConfig
config.json 模型结构与 memt 记忆超参数
generation_config.json 采样参数(temperature 0.7、top_p 0.95 等)
tech_report.pdf 技术报告(架构、训练与评估细节)
tokenizer.json / vocab.json 分词器词表

常见问题速答

Q:MemT-1.0-Nano 和普通的长上下文模型有什么区别? A:长上下文模型靠「记住原文」,成本随长度线性增长;MemT 把信息压缩进固定大小的记忆状态,128K 历史下存储约为全上下文 KV cache 的 1/66。

Q:不开启 enable_memory 能用吗? A:可以。此时它就是一个标准的 Qwen3.6-35B-A3B 基座模型,走明文上下文生成,适合常规对话场景。

Q:显存要求高吗? A:Nano 版本激活参数仅 3B(MoE 架构),配合 device_map="auto" 和多卡/量化方案,门槛在同级模型中相对友好。


写在最后

MemT-1.0-Nano 代表了大模型记忆研究的一个重要方向:把记忆从「外部工程」变成「模型内建能力」。如果你希望自己的 AI 助手真正「记住」用户和项目,它值得成为你工具箱里第一件试用的记忆基础模型。

下一步建议:运行上面的 3 步对话示例 → 阅读 tech_report.pdf 了解两阶段训练与记忆扩展研究 → 在 Agentic Coding 场景中体验经验复用。

登录后查看全文
MemT-1.0-Nano