从对话到图像:复旦系 MOSS 全模态技术体系全景拆解

原创2026-10-19 18:43:461,879 阅读
文章标签:人工智能大模型媒体生成基础模型

从对话到图像:复旦系 MOSS 全模态技术体系全景拆解

2023 年 2 月,复旦大学自然语言处理实验室邱锡鹏团队发布了国内首个开放测试的类 ChatGPT 产品 MOSS,名字取自《流浪地球》中那个拥有自我意识的 AI。彼时,它还是一个以 160 亿参数承载中英双语对话的语言模型;而到 2026 年,MOSS 已经演化为覆盖文本、图像、视频、语音的完整全模态技术体系——最新的 MOSS-Image 是一个基于 5B DiT 架构的文本生成图像模型,能在图像里精确排版中文文字,还能读取带坐标的 JSON Layout 提示词。这篇文章以 MOSS 家族的时间线为主线,结合社区公开情报与本仓库源码,拆解这条"从对话到图像"的技术路径,以及图像模型在整套全模态拼图中的位置。

一、MOSS 家族发展时间线:从对话到图像生成

2023:以对话立身,以插件触达图像

MOSS 的起点是对话。2023 年 2 月 20 日,MOSS 002 版本公开邀请内测,成为国内首个开放测试的类 ChatGPT 产品,上线后一度因访问量过大把服务器挤爆。同年 4 月,MOSS 003 正式开源,基座模型约 7000 亿中英文及代码单词预训练而来,FP16 精度下单张 A100/A800 或两张 3090 即可运行,INT4/INT8 量化后单张 3090 即可推理。

值得注意的是,MOSS 的"图像能力"最初并不是靠原生文生图模型实现的,而是通过插件体系挂载上去的:moss-moon-003-sft-plugin 在 160 亿参数基座上用约 30 万条插件专项数据微调,集成了搜索引擎、文本转图像、计算器和方程求解四大插件,让对话模型具备"工具识别—调用—结果整合"的能力,INT4/INT8 版本最低 12GB 显存即可部署。这是 MOSS 全模态故事的第一个版本:用对话模型当大脑,用插件当手脚。

2024-2025:理解侧扩张,视觉语言模型上线

对话与工具调用之后,MOSS 把版图向"看懂图像与视频"推进。MOSS-VL 系列(0408、0708 两个版本线)是 OpenMOSS 生态中的视觉语言基础模型:采用交叉注意力架构将视觉编码与语言推理解耦,原生支持图像与视频的交错输入;通过动态分辨率处理保留原始空间布局;在视频帧采样中注入绝对时间戳以增强时序建模;并引入跨注意力旋转位置编码(XRoPE),把文本标记与视觉特征映射到由时间 t、高度 h、宽度 w 定义的统一 3D 坐标空间。社区实测报道显示,该系列支持 256 帧长序列视频、多图关联推理,在 OCR/文档理解与视频时序判断上均有亮眼表现;MOSS-VL-Instruct-0708 的 NF4 量化版仅需 24GB 显存即可部署。同期还出现了 MOSS-Video-Preview-Base(图像-视频统一交叉注意力架构)与面向医学图像分析的 MOSS-MED 等垂直模型。

2026:生成侧补位,MOSS-Image 登场

如果说 MOSS-VL 解决了"理解",那么 MOSS-Image 补上的正是"生成"。作为 OpenMOSS 官方的文生图系列,MOSS-Image 发布 Base 与 SFT 两个权重版本,配发技术报告(arXiv: 2610.23374)。与 2023 年靠插件调用第三方文生图服务不同,MOSS-Image 是 MOSS 体系内第一个原生、自研、可本地部署的图像生成模型,标志着 MOSS 从"能聊到图"走向"自己画图"。而团队背后的商业化实体"模思智能"也在同期完成超 10 亿元 Pre-A 轮融资,从 MOSS 起步转向语音多模态与情境智能——全模态拼图仍在继续扩张。

二、统一建模:多模态背后的同一套语言

纵观 MOSS 家族的演进,一个贯穿始终的设计思想是用统一的建模方式消化不同的模态。

理解侧的 MOSS-VL 提供了最直观的证据:XRoPE 将文本 token 与视觉特征放进同一个 (t, h, w) 三维坐标空间,图像与视频帧因此共享同一套位置编码语言,这才能支撑"图像与视频交错输入"——多张图、多段视频、文本可以在一个序列里混合排列,模型按统一的时空坐标理解它们。交叉注意力架构则让视觉编码与语言推理各司其职,但最终仍在同一个注意力空间里完成对齐。

生成侧的 MOSS-Image 遵循同构思路,只是方向相反:图像不再是"被读入"的 token,而是"被写出"的 latent。整个链路是一条标准的扩散 transformer 流水线——文本侧由 Qwen3.5-9B 文本编码器把提示词编码为条件向量,图像侧由 FLUX.2 的 VAE 把像素压缩进 latent 空间,中间的 5B DiT 主干在 Flow-Matching 框架下完成从噪声到图像的生成。从本仓库的文件布局可以清楚看到这条链路的三个物理环节:

  • diffusion_models/:DiT 生成主干,提供 Base 与 SFT 两个系列的 bf16 / int8 权重;
  • text_encoders/:Qwen3.5-9B 文本编码器,覆盖 bf16、int8_convrot、w4a8_gptq 三种精度;
  • vae/:FLUX.2 系列 VAE(完整版与 small 版)。

文本编码、视觉 latent、扩散主干,各自负责一种"语言",又通过统一的 transformer 序列协作——这正是"统一离散化建模"在工程上的落地形态:不管输入是文字、图像还是视频,最终都收敛到同一套可训练的向量表达上。MOSS-Image 默认精度配置也印证了这一点:transformer 与文本编码器使用 bfloat16,而 VAE 与初始噪声使用 float32,各环节按精度敏感性分工,而非一刀切。

三、图像模型在全模态拼图中的位置

把 MOSS-Image 放回全模态体系里看,它的角色非常清晰:与 MOSS-VL 形成"理解—生成"的对称闭环。VL 系列负责把现实世界的图像、视频翻译成语言与知识;Image 系列负责把语言与布局意图翻译回图像。二者共享同一套基于坐标空间的对齐哲学,区别只是信息流动方向。

MOSS-Image 最独特的产品设计,是它对空间可控性的原生支持。它接受三种提示词输入:

  • 自然语言提示词:一句完整描述,适合日常出图;
  • Tag 标签序列:逗号分隔的风格/内容标签,适合风格化出图;
  • JSON Layout:结构化描述场景与元素位置,适合文字海报与精确排版。

Layout 是 MOSS-Image 区别于主流文生图模型的杀手锏。一个 Layout 提示词由 summary.caption(画面总描述)与 items(元素列表,每个元素带文本、描述与包围盒)构成,包围盒采用 bbox_format: "yxyx" 与 bbox_coord_space: "abs_centralized"(整数中心化绝对坐标)。这意味着文字、物体在画面中的位置和大小是可编程的——出图时用 json.dumps(layout, ensure_ascii=False) 序列化后作为 prompt 传入即可。社区反馈与官方展示一致强调:这是中文文字渲染的强项场景,官方示例中便签内容 "记得买牛奶和鸡蛋!牛奶两盒,鸡蛋一打。" 能被清晰、准确地渲染进图像。

为了让"一句话灵感"能顺利变成结构化提示词,官方还配套了 Prompt Enhancer 技能:Agent 只需给出画面想法、期望输出形态(caption 或 Layout)与画布尺寸,技能脚本自动把像素坐标草稿转换为整数中心化坐标的紧凑 JSON。其中有一个工程细节值得注意:坐标是相对画布的,Layout 提示词必须与生成尺寸保持一致,官方建议 Python API 的宽高为 16 的正整数倍(1024×1024 最稳妥),否则文字与元素会整体偏移。

Base 与 SFT 的定位差异也很明确:社区评测与官方示例一致指出,同一提示词下 SFT 的文字分组更清晰、白板式排版更规整,适合海报、笔记这类文字密集画面;Base 则更适合作为 LoRA 微调与结构实验的底座。

四、ComfyUI 落地:从对话到图像的最后一步

全模态技术体系的最后一公里是可部署性。MOSS-Image 官方已接入 ComfyUI 生态,本仓库即为面向 ComfyUI 的重打包版本,将 HF 原始仓库的权重文件重新组织为标准目录结构,按 README.md 说明放入对应目录即可使用:

📂 ComfyUI/
├── 📂 models/
│   ├── 📂 diffusion_models/
│   │   ├── moss_image_base_bf16.safetensors
│   │   ├── moss_image_base_int8_convrot.safetensors
│   │   ├── moss_image_sft_bf16.safetensors
│   │   └── moss_image_sft_int8_convrot.safetensors
│   ├── 📂 text_encoders/
│   │   ├── qwen3.5_9b_bf16.safetensors
│   │   ├── qwen3.5_9b_int8_convrot.safetensors
│   │   └── qwen3.5_9b_w4a8_gptq.safetensors
│   ├── 📂 vae/
│   │   ├── flux2-vae_small.safetensors
│   │   └── flux2-vae.safetensors

三组文件对应文生图链路的三个环节:DiT 主干提供 Base/SFT × bf16/int8 四种组合,文本编码器提供 bf16、int8_convrot(旋转量化)与 w4a8_gptq(GPTQ 权重激活混合量化)三档精度,VAE 提供 FLUX.2 完整版与 small 版两档。int8 / w4a8 版本显著拉低了显存门槛,延续了 MOSS 从 2023 年 INT4/INT8 对话模型时代就坚持的"低配也能跑"传统。

推理时的官方默认采样参数同样值得照抄,它是 MOSS-Image 调出稳定效果的基准配方:

参数 推荐值
采样器 Flow-matching Euler
步数 50
CFG 3.0
Shift 5
负分支跳层 uncond_skip_layers=[22](从 0 起计)
负向提示词 留空

默认引导每步执行两次 transformer 前向(正负分支各一次),负分支在第 22 层跳过以省算力;如需关闭可传 uncond_skip_layers=[],也可通过 negative_prompt 显式提供负向提示词。与社区流传的提示词工程经验一致:定意图、定尺寸、锁种子、一次只改一个变量,是让 Layout 类提示词稳定收敛的最快路径。

结语

回看 MOSS 三年的演进:2023 年的对话模型靠插件"借用"图像能力,2025 年的视觉语言模型学会"理解"图像,2026 年的 MOSS-Image 终于能"生成"图像——理解与生成两条线在此汇合,文本、图像、视频在统一建模框架下共享同一套坐标语言。当一个对话模型起家的团队,最终把布局可控、文字精准的文生图模型交到 ComfyUI 用户手里时,MOSS 全模态体系的拼图才算真正完整:从一句对话开始,到一张布局精确的图像结束。

登录后查看全文
MOSS-Image