一张显卡就能跑:30B 总参只激活 3B,Hy-Memory-30B-A3B 本地部署上手

原创2026-10-18 12:20:522,147 阅读

一张显卡就能跑:30B 总参只激活 3B,Hy-Memory-30B-A3B 本地部署上手

在 Agent 应用越来越依赖"长期记忆"的当下,一个尴尬的矛盾始终存在:记忆框架(Mem0、MemOS 等)通常需要调用 Claude、GPT 这类通用大模型来决定"该记住什么、怎么记、何时更新",成本高、延迟大,还未必专业。腾讯混元近期放出的 Hy-Memory-30B-A3B 给出了一个针对性解法——它是一个专用的 Memory Writer(记忆写入器) 模型,总参数约 30B,但每次推理只激活约 3B 参数(MoE 架构)。社区将其戏称为"静默发布"的模型:没有高调的宣传帖,却已经在四个主流记忆框架的横评中以 55.49 的平均分位居所有记忆写入器之首,甚至小幅超过 Claude Opus 5(54.62)。对开发者而言,更实在的诱惑是:这种规格的模型,一张消费级显卡就能托起来。本文不聊概念,直接基于仓库源码(config.json、README.md、chat_template.jinja)走一遍完整部署流程。

先看模型底细:为什么"30B 总参"只要 3B 显存算力

"总参 30B、激活 3B"听起来像营销话术,但翻开仓库根目录的 config.json,MoE 架构的每个关键数字都写得很直白:

{
  "architectures": ["HYV3ForCausalLM"],
  "hidden_size": 2048,
  "num_hidden_layers": 48,
  "num_experts": 128,
  "num_experts_per_tok": 8,
  "num_shared_experts": 1,
  "moe_intermediate_size": 1536,
  "max_position_embeddings": 262144,
  "vocab_size": 120832
}

48 层 Transformer,每层 128 个 MoE 专家,但每次 token 只路由到 8 个专家 + 1 个共享专家(num_experts_per_tok: 8)。这意味着推理时真正参与计算的专家权重只占全部专家的约 1/16,加上注意力与共享层,活跃参数约 3B——这就是"A3B"的由来。同时 model.safetensors.index.json 的 metadata 显示全部权重 total_size 约 60GB(fp16/bf16 原始精度),分成 51 个 shard(model-00000-of-00051.safetensors 到 model-00050-of-00051.safetensors),对应 30B 总参数规模。

这里有一个重要的部署认知:激活参数决定"算力"需求,总参数决定"显存"需求。3B 激活参数意味着单卡推理时计算量很小,60GB 权重则意味着全精度加载需要专业卡。因此本地部署的第一原则就是:必须量化。社区实践中,Q4 量化后的构建体积已经压缩到约 17GB,这正好落入 24GB 显存(如 RTX 4090)甚至 16GB 显存的可运行区间。模型基于 transformers(config 中标注 transformers_version: 5.6.0.dev0)生态,HYV3ForCausalLM 架构对量化工具链的兼容性也比较好。

部署路径:vLLM 一条命令拉起 OpenAI 兼容服务

README.md 给出的官方推荐是 vLLM(官方验证版本为 v0.31.0),并用 --served-model-name 指定对外暴露的模型名。这也是社区一致认可的最省心方案:vLLM 对 MoE 有专门的显存管理,能显著降低 KV cache 开销。以一份量化后的模型目录(如 GGUF 或 AWQ 格式转换产物,仓库内为原始 safetensors + index)为例,启动命令大致如下:

vllm serve /path/to/Hy-Memory-30B-A3B \
  --served-model-name hy-memory \
  --quantization awq \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.9 \
  --dtype half

参数说明:

  • --served-model-name hy-memory:让客户端通过 model="hy-memory" 调用,与官方示例保持一致;
  • --max-model-len:模型原生支持 262K 上下文(max_position_embeddings),但本地部署时建议先收紧到 8K~32K,把显存预算留给权重与 KV cache,避免 OOM;
  • --gpu-memory-utilization:MoE 模型加载后还需预留 KV cache 空间,0.85~0.9 是一个安全区间;
  • --dtype half:混合精度推理是 MoE 模型的默认最优解。

启动后服务默认监听 http://127.0.0.1:8000,并暴露 /v1 这一 OpenAI 兼容端点,后续接入 OpenAI SDK、LangChain、Mem0 等任何兼容 OpenAI API 的框架都不需要额外适配。

首次读写验证:让模型把对话"写成记忆"

服务起来后,第一件事是验证它是否真的按"记忆写入器"的预期工作。官方在 README.md 中给了完整示例:系统提示词要求模型从对话中抽取用户事实与偏好,把每条记忆写成简洁、自包含的陈述句,并且不要推断或编造,最终只返回一个 {"memories": [...]} 结构的 JSON。客户端代码如下(基于 openai SDK):

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:8000/v1",
    api_key="EMPTY",
)

response = client.chat.completions.create(
    model="hy-memory",
    messages=[
        {
            "role": "system",
            "content": (
                "Extract explicit user facts and preferences from the conversation. "
                "Write each memory as a concise, self-contained statement. "
                "Do not infer or invent information. "
                'Return only a JSON object with a "memories" list of strings.'
            ),
        },
        {
            "role": "user",
            "content": (
                "My name is Alex. I live in Seattle and work as a software engineer. "
                "I mainly use Python and prefer concise answers with code examples. "
                "I'm vegetarian, so please keep that in mind when suggesting meals."
            ),
        },
    ],
    temperature=0.0,
    max_tokens=512,
    extra_body={
        "chat_template_kwargs": {
            "reasoning_effort": "no_think",
        },
    },
)

两个细节值得展开。第一,temperature=0.0:记忆写入是"转录"而非"创作",确定性输出对后续去重、比对至关重要。第二,reasoning_effort: "no_think":这是混元系模型的独特能力开关。查看 chat_template.jinja 可以看到模板支持 high、low、no_think 三档推理强度:

{%- if not reasoning_effort is defined or reasoning_effort not in ['high', 'low', 'no_think'] %}
    {%- set reasoning_effort = 'no_think' %}
{%- endif %}

且模板默认值就是 no_think(第 74~76 行)。对记忆写入这类结构化任务,no_think 关闭了冗长的思维链输出,直接产出干净的 JSON,既省 token 又降延迟;而当你需要它处理更复杂的"该不该更新这条旧记忆"决策时,可以切换为 low 或 high,模板会相应地在 assistant 回复前注入 <think> 块(见 chat_template.jinja 第 225~231 行的分支逻辑)。

预期的返回大致是:

{"memories": [
  "Alex lives in Seattle.",
  "Alex works as a software engineer.",
  "Alex primarily uses Python.",
  "Alex prefers concise answers with code examples.",
  "Alex is vegetarian."
]}

拿到这样一份结构化输出后,你可以直接把它灌入任意向量库或记忆框架做检索;这也正是该模型在评测中表现优异的"写入质量"来源。

参数调优:从"能跑"到"跑得稳、跑得快"

首次启动通过后,本地部署通常还会遇到三类问题,按仓库配置与社区经验可以逐一解决。

显存紧张时优先砍上下文。 MoE 模型的显存大头是"全部专家权重",这部分在量化后不可再压缩;唯一能灵活收缩的就是 --max-model-len。把 262K 的原生上下文压到 4K~8K,可省下数 GB 的 KV cache 空间,且对记忆写入场景几乎无感知——写入任务一次只消费一段对话,用不到超长上下文。

开启 continuous batching 提升吞吐。 记忆写入往往伴随批量处理(比如离线回放历史对话),vLLM 默认支持 continuous batching,配合 --max-num-seqs(例如 64~128)可以让多路写入并发复用同一批专家前向计算,显著提高吞吐。社区在类似混元 MoE 模型上实测过,这类参数调整通常能把 P95 延迟降低一半以上。

量化格式的选型决定兼容性。 社区实践表明,AWQ 量化对混元系模型的路由与专家权重还原度较好,且 vLLM 原生支持;而 GGUF 方案则依赖 llama.cpp/ollama 链路,两者二选一即可,但注意不要在 vLLM 里强行加载格式不匹配的量化文件,否则会直接报错或出现灾难性退化。

把 --served-model-name 固定下来。 记忆框架(Mem0、OpenClaw 等)的配置里通常硬编码模型名,部署端与客户端两侧的模型名不一致是接入时最常踩的坑。建议始终使用 hy-memory 这个规范名,与 README.md 示例保持一致,避免后续排查走弯路。

写在最后:它到底解决了什么

回到开头那个矛盾:以往记忆框架用通用大模型做"写入",是在用昂贵的通用能力做一件专业的小事。Hy-Memory-30B-A3B 用 3B 激活参数把这件事做到了专用水平——按 README.md 的横评,在 Mem0、Hy-Memory、MemOS 三个已见框架及一个训练时完全未见过的 EverMemOS 框架上,它的平均分分别是 54.02、60.55、50.51、56.89,综合 55.49,均超过 Claude Opus 5 与 DeepSeek V4.1 Flash。仓库中的 fig3_cross_harness_colm.png 直观展示了这一对比结果。

对独立开发者来说,这意味着:一张 24GB 显卡 + 17GB 的量化权重 + 一条 vLLM 启动命令,就能给自建的 Agent 装上"会挑选记忆"的专用写入器,无需再为每一次记忆更新付费调用云端大模型。从"用通用模型顺手做记忆"到"用专用模型专业做记忆",这正是 Agent 基础设施走向成熟的一个小而关键的转折。

登录后查看全文
Hy-Memory-30B-A3B