MemT-1.0-Nano完全入门:让大模型拥有「永久记忆」的新一代记忆基础模型
MemT-1.0-Nano完全入门:让大模型拥有「永久记忆」的新一代记忆基础模型
正在为大模型「记不住」发愁?MemT-1.0-Nano 是一款专为大模型记忆设计的新一代记忆基础模型:它把持久、动态演化的记忆直接写进模型计算中,无需反复回看原始上下文,也能持续记住你告诉它的信息。本文是一份面向新手的完整入门指南,带你用 10 分钟理解它的架构原理、跑通第一次「有记忆的对话」,并学会保存与恢复记忆状态。
为什么大模型需要「记忆」?
大模型普遍有个通病:对话一结束,上下文就「失忆」。传统方案是把历史全部塞进上下文窗口(即 KV cache),但历史越长,存储和计算开销越大——在 128K 历史长度下,开销约为常数级记忆的 66 倍。
MemT-1.0-Nano 给出的答案很直接:
让持久、动态演化的记忆成为模型计算的内在部分(persistent, dynamically evolving memory as an intrinsic part of model computation)。
它通过「动态局部记忆 + 可训练超记忆」两个机制保留并利用历史信息,推理时不需要访问原始上下文,记忆状态大小恒定,存储成本大幅降低。
📦 模型家族一览
| 模型 | 基座模型 | 总参数 | 激活参数 | 可训练记忆参数 | 动态记忆状态 |
|---|---|---|---|---|---|
| MemT-1.0-Nano | Qwen3.6-35B-A3B | 36B | 3B | 451M | 10M |
| MemT-1.0-Flash | DeepSeek-V4-Flash | 288B | 17B | 3.61B | 336M |
可以看到,Nano 版本激活参数仅 3B,属于轻量级配置,非常适合个人开发者和研究者上手体验大模型长期记忆能力。
核心架构:记忆是如何「长」进模型里的?
MemT-1.0-Nano 的架构核心是一个与主干注意力并行运行的 Native Memory Block(原生记忆块),由两部分组成:
- Local Memory Block(局部记忆块):维护一个动态的多通道记忆矩阵,会随着每一轮交互不断演化;
- Hyper Memory Block(超记忆块):包含可训练的记忆 Query / Key / Value 投影、擦除(erase)、写入(write)、遗忘(forget)门控以及输出门控。
工作过程可以想象成「读写笔记本」:
- 生成时,记忆注意力从当前记忆状态中读取信息,经归一化和门控后,叠加到主干注意力的输出上;
- 每一轮对话或每个片段结束时,稳定的 GDN-2 模块执行 token 级记忆更新,把新信息写进记忆状态,供后续步骤使用。
相关的记忆超参数(如记忆头数 16、分块长度 2048、输出门控 softcap 等)都记录在 config.json 的 memt 字段中,架构实现则可参考 modeling_memt.py 中的 MemTMemory 与 MemTGatedDeltaNet 类。
记忆能力有多强?11 项基准实测
项目在 11 项记忆基准测试中进行了系统评估。结果显示:MemT-1.0-Flash 和 MemT-1.0-Nano 在所有参数化记忆方法中分别位列第一、第二。
需要说明的是:在需要精细证据检索的超长历史场景中,基于文本检索的记忆系统整体仍然更强——这也为「参数化记忆 + 外部检索」的混合方案留下了空间。
实战应用:经验引导的 Agentic Coding
「模型会记住」最落地的场景之一,是长程编码任务中的经验复用。
MemT-1.0 引入了一套 Agent 框架:Agent 过去积累的程序性经验(procedural experience)被存入原生记忆,执行新任务时通过记忆注意力直接调用——无需把经验文本塞进任务上下文,就能提升任务表现。
一键安装:环境准备步骤
运行 MemT-1.0-Nano 需要 Python 3.11+,以及 CUDA 13 版本的 PyTorch 2.11.0。安装命令:
pip install transformers==5.12.1 accelerate==1.15.0 safetensors==0.8.0
如果希望通过 git 获取模型与代码:
git clone https://gitcode.com/hf_mirrors/MemTensor/MemT-1.0-Nano.git
💡 提示:模型使用自定义代码(
trust_remote_code=True),加载时会使用仓库内的 modeling_memt.py 与 configuration_memt.py。
快速加载模型
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "MemTensor/MemT-1.0-Nano" # 或本地模型目录
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_id,
trust_remote_code=True,
dtype=torch.bfloat16,
device_map="auto",
attn_implementation="sdpa",
)
3 步跑通「有记忆的对话」
这是本文的精华部分——感受一下什么叫「永久记忆」:
第 1 步:开启记忆会话。 用 enable_memory=True 告诉模型:这轮信息请存入潜空间记忆,并清空明文上下文。
第 2 步:直接提问。 模型会仅凭潜空间局部记忆作答。
第 3 步:观察结果。 模型准确答出了名字、年龄、爱吃的食物和特长。
session = model.create_session(tokenizer)
# 开启记忆:把本轮信息写入潜空间局部记忆,清空明文上下文
session.chat(
"我有一只三个月大的小猫,叫 memmy,喜欢吃小虾米,特别能记住事情。",
enable_memory=True,
enable_thinking=False,
)
# 仅用潜空间记忆回答
print(session.chat("我的小猫叫什么?多大了?喜欢吃什么?有什么特长?",
enable_thinking=False))
# 名字:memmy|年龄:三个月|食物:小虾米|特长:记性好
✨ 关键点:第二次提问时,上下文中已经没有第一轮的任何文字,模型靠的是记忆状态而非文本检索。
保存与恢复:跨会话续接记忆
记忆状态可以导出为 safetensors 文件,随时恢复——恢复后的会话明文消息为空(len(restored.messages) == 0),但模型依然「记得」一切:
session.save_state("memmy_memory.safetensors") # 保存记忆状态
session.close()
restored = model.create_session(tokenizer, state="memmy_memory.safetensors")
print(restored.chat("我的小猫多大了?", enable_thinking=False))
# 你的小猫 3 个月大。
这套「保存 → 关机 → 恢复」能力,正是大模型长期记忆走向实用化的关键一步:记忆不再依赖不断膨胀的上下文窗口。
会话类的完整实现见 modeling_memt.py 中的 MemTSession;对话模板由 chat_template.jinja 定义。
资料索引:项目文件在哪里看?
| 文件 | 内容 |
|---|---|
| README.md | 项目概览、Quick Start 与引用信息 |
| modeling_memt.py | 模型完整实现(记忆块、GDN-2 更新、会话管理) |
| configuration_memt.py | 自定义配置类 MemTQwen3_5MoeConfig |
| config.json | 模型结构与 memt 记忆超参数 |
| generation_config.json | 采样参数(temperature 0.7、top_p 0.95 等) |
| tech_report.pdf | 技术报告(架构、训练与评估细节) |
| tokenizer.json / vocab.json | 分词器词表 |
常见问题速答
Q:MemT-1.0-Nano 和普通的长上下文模型有什么区别? A:长上下文模型靠「记住原文」,成本随长度线性增长;MemT 把信息压缩进固定大小的记忆状态,128K 历史下存储约为全上下文 KV cache 的 1/66。
Q:不开启 enable_memory 能用吗? A:可以。此时它就是一个标准的 Qwen3.6-35B-A3B 基座模型,走明文上下文生成,适合常规对话场景。
Q:显存要求高吗?
A:Nano 版本激活参数仅 3B(MoE 架构),配合 device_map="auto" 和多卡/量化方案,门槛在同级模型中相对友好。
写在最后
MemT-1.0-Nano 代表了大模型记忆研究的一个重要方向:把记忆从「外部工程」变成「模型内建能力」。如果你希望自己的 AI 助手真正「记住」用户和项目,它值得成为你工具箱里第一件试用的记忆基础模型。
下一步建议:运行上面的 3 步对话示例 → 阅读 tech_report.pdf 了解两阶段训练与记忆扩展研究 → 在 Agentic Coding 场景中体验经验复用。


