InWorld是什么?开源交互式AI世界模型完整概览:一句话动作就能拍成带声音的视频

原创2026-11-01 09:03:53656 阅读

InWorld是什么?开源交互式AI世界模型完整概览:一句话动作就能拍成带声音的视频

InWorld(Murea-InWorld)是一款开源的交互式 AI 世界模型:你用一句话描述角色要做什么,它就把这个动作拍成一段音画同步的生成视频——带台词、带环境声,还能把每一次行动接成一段连续不跑戏的故事。它由两部分组成:跑在 GPU 上的视频生成推理服务 Murea-Fast,和负责"导演剧情"的视频 Agent Murea-Mind。

Murea-InWorld开源交互式AI世界模型主视觉:一句话动作生成带声音的视频

两个核心组件:Murea-Fast 负责生成,Murea-Mind 负责剧情

整个系统可以用一句话概括:你说做什么,Murea-Mind 负责规划,Murea-Fast 负责拍出来。

组件 角色 关键点
Murea-Fast 视频生成推理服务 文本 + 多张参考图 → 1280×704、24 fps 带同步音频的视频;8 步蒸馏采样,出片快
Murea-Mind 世界 Agent + 网页应用 维护角色、地点、任务等世界状态,把每个动作规划、检查、拍成视频,再对照真实画面反思修正

两者通过标准 HTTP API 通信(见 inference/docs/api_zh.md),所以视频服务可以跑在另一台 GPU 机器上,甚至通过 SSH 隧道访问。

Murea-Fast:多张参考图,一句提示词,拍出带声音的片段

Murea-Fast 的玩法是"全参考生成":把人物、物件、地点按顺序作为参考图传入,在提示词里引用它们,就能生成人物长相、道具外观、场景氛围都对得上的片段,台词和环境音同步生成。下图就是用"染坊主人、猫、蓝布、染缸庭院"四张参考图生成的视频画面:

Murea-Fast多参考图生成的AI视频画面:染坊庭院里铺开的蓝染布

它还有一个很实用的能力——续写(Continuation):从上一段视频的末尾 17 帧接着生成,人物和场景保持不变,动作自然延续。详见 inference/README_zh.md。

Murea-Mind:用"图片"记住世界的视频 Agent

Murea-Mind 的每个角色、物件和地点都是一张参考图 + 一段锁定描述。剧情再次回到那间客栈时,Agent 直接把客栈的图发给视频模型,而不是指望语言模型"记得它长什么样"——所以故事从第一段到第一百段,人物和场景都不会变样。

它每一拍都走同一个固定、可追踪的循环,每一步都能在网页的 Agent 面板里实时看到:

  1. 感知:读取世界快照和上一段视频的最后几帧
  2. 规划:导演(语言模型)决定发生什么、谁出镜、台词和镜头
  3. 检查:确定性规则校验动作计划和物理关系,不过就交回重写
  4. 行动:布景选角、补齐缺失的参考图、调用 Murea-Fast 拍摄
  5. 提交:把这一拍挂到剧情树上,更新世界状态
  6. 反思:播放后由评审对照真实画面,确认真实发生了什么

Murea-Mind视频Agent架构:持久世界记忆、在线生成与播放时裁决

下面这段画面就来自一个多轮连续的故事:蒸汽朋克飞艇的机库中,第一轮的指令是"登机",后续每一轮都接着上一轮继续演:

InWorld连续剧情示例:蒸汽朋克飞艇机库中角色攀爬梯子上船的生成画面

四种玩法:从单人刷剧情到多人联机

  • 🖼️ 用参考图拍一场戏:两个角色 + 一个地点 + 一句提示词,直接出带台词的片段(Murea-Fast 命令行即可)
  • 🔄 接着拍:从最后几帧续写,让动作继续(Murea-Fast continue 命令)
  • 🎭 玩一个故事:浏览器里输入一个动作,看它发生,再从给出的三个选项里选下一步(Murea-Mind)
  • 👥 和朋友一起玩:2–4 位玩家(真人或 AI 队友)各带一个角色进同一个房间,每轮所有人的动作拍成一段共享视频

多人联机(Co-op)是它最出圈的模式之一:每个玩家的动作绑定自己的角色,系统把整轮行动渲染在同一镜头下——比如下图就是两位玩家的角色在宝藏洞穴中面对巨龙的共享片段:

InWorld双人联机模式示例:两名剑士在金币洞穴中与巨龙对峙的共享视频画面

双人模式的完整玩法和设计说明见 agent/docs/coop_zh.md,房间代码位于 agent/murea_agent/coop/。

跑起来要多少显卡?性能一览

Murea-Fast 是 LTX-2.5 的 8 步蒸馏衍生模型,速度是它的核心卖点:

硬件 表现
单张 NVIDIA H20 5 秒片段约 44–101 秒(单卡模式自动锁定 5 秒)
4 张 H20(序列并行) 5 秒片段约 17 秒;单段最长 20 秒
NVIDIA RTX PRO 6000 Blackwell 蒸馏版 5.04 秒 720P 视频约 3.6 秒,快于实时

显存方面:4 卡生成 10 秒及以上片段时每卡峰值约 80–112 GiB,96 GB 的卡建议把单段限制在 10 秒以内。更多数据见 inference/docs/performance_zh.md。

三步快速上手 InWorld

第 1 步:在 GPU 机器上启动 Murea-Fast(按 inference/docs/deployment_zh.md 装好环境和 LTX-2.5 基础组件,填好 inference/configs/single-gpu.json 里的路径):

cd inference
bash scripts/murea-fast prepare --config configs/single-gpu.json
bash scripts/murea-fast start --config configs/single-gpu.json
curl --fail http://127.0.0.1:30260/health

第 2 步:在任意机器上运行 Murea-Mind(需要 Python 3.12、uv 和一个文字/出图用的 API key,如 Gemini):

git clone https://gitcode.com/gh_mirrors/in/InWorld Murea-InWorld && cd Murea-InWorld/agent
cp .env.example .env   # 填 GEMINI_API_KEY 和 MUREA_URL=http://<GPU主机>:30260
./run.sh              # 然后打开 http://127.0.0.1:8080

第 3 步:开始玩。 还没有世界时,直接在主页输入一句想法,例如"去冰塔峰之龙的世界探险",Agent 会自动补全世界观、玩家身份和开场,然后开始拍第一段。也可以换用 OpenAI 兼容接口或阿里云百炼,复制 agent/config.example.yaml 为 config.yaml 修改即可;想双人联机,把 mode: single 改成 mode: coop 重启。

⚠️ 安全提示:推理服务和 Agent 默认都不带鉴权,部署到共享网络前请先阅读 SECURITY_zh.md。

仓库结构与文档导航

想了解 从这里看
项目总览与快速上手 README_zh.md
Murea-Fast 部署、API、性能 inference/docs/deployment_zh.md、inference/docs/api_zh.md、inference/docs/performance_zh.md
Murea-Mind 玩法与配置 agent/README_zh.md
双人联机模式设计 agent/docs/coop_zh.md
Agent 本体源码 agent/murea_agent/(director/ 导演、guards/ 规则检查、memory/ 世界记忆、critic.py 评审)
生成模型技术细节 paper/InWorld-technical-report.pdf

基准成绩:和商用系统同台比

技术报告对两个生成配置做了互补评测(完整报告见 paper/InWorld-technical-report.pdf):

  • Murea-Pro:WBench Full-289 多轮交互基准 Overall 81.13,在参评系统中排名第一
  • Murea-Fast:OpenS2V-Eval Total 64.98、OS2V-Pro 综合 69.9(覆盖参考保真度、属性绑定、渲染质量与音频)

两者在各自基准上都超过大多数参评的商业系统,这也是这套开源方案值得关注的底气所在。

Murea视听生成框架图:全参考联合训练、两阶段少步蒸馏与流式续写

总结:谁适合玩 InWorld

  • 想试"文字驱动剧情"的完整闭环:装好 Murea-Mind 后,一句话就能开一局,网页里能看到 Agent 每一步的决策轨迹
  • 想在自己的项目里接视频生成:直接用 Murea-Fast 的 HTTP API,参考图续写、多参考图绑定都是现成的
  • 想和朋友一起玩:Co-op 房间支持 2–4 人 + AI 队友,每轮一段共享视频,是最直观的"多人 AI 世界"体验

InWorld 以 Apache 2.0 开源(模型权重另受 LTX-2.x 社区协议约束,来源说明见 inference/docs/provenance_zh.md),中英文文档齐全,是目前少有的把"世界 Agent + 快速视听生成"完整开源的项目。如果你正关注交互式世界模型或 AI 视频生成方向,这套代码和文档值得完整读一遍。

登录后查看全文
InWorld