首页
/ 美团LongCat-Video视频生成模型重磅发布,开启世界模型探索新纪元

美团LongCat-Video视频生成模型重磅发布,开启世界模型探索新纪元

2026-02-05 04:01:22作者:范靓好Udolf

2025年10月27日,美团技术团队正式对外发布了自主研发的LongCat-Video视频生成模型。这款具备里程碑意义的AI模型不仅在文生视频、图生视频等基础任务上达到开源领域最先进水平,更凭借原生支持5分钟级长视频连贯生成的核心能力,为构建下一代人工智能的"世界模型"迈出了关键一步。

在人工智能向通用智能演进的过程中,能够精准建模物理规律、时空演化与场景逻辑的"世界模型"被公认为核心突破口。视频作为承载多模态信息的重要载体,包含几何结构、语义关系、物理运动等丰富知识,因此视频生成技术成为训练世界模型的重要路径。美团LongCat团队正是基于这一战略考量,历经多年技术积累打造出LongCat-Video模型,为自动驾驶、具身智能等需要深度环境交互的业务场景奠定了坚实的技术基础。

LongCat-Video采用创新的Diffusion Transformer(DiT)架构,构建了一个真正意义上的多任务一体化视频生成基座。该模型通过"条件帧数量"这一巧妙设计实现任务区分:文生视频任务无需输入条件帧,图生视频任务仅需1帧参考图像,而视频续写任务则可基于多帧前序内容进行创作,形成了覆盖"文生/图生/视频续写"的完整任务闭环,无需额外模型适配即可灵活切换。

在文生视频方面,LongCat-Video可生成720p高清分辨率、30fps流畅帧率的视频内容,能够精准解析文本描述中的物体属性、人物动作、场景布局及艺术风格等细节指令,语义理解与视觉呈现能力均达到开源领域SOTA级别。图生视频功能则表现出卓越的内容一致性,严格保留参考图像的主体特征、背景关系与整体风格,生成的动态过程完全符合物理运动规律,支持从详细指令到空指令的多类型输入方式。

作为模型的核心差异化优势,视频续写能力为长视频创作提供了原生技术支撑。LongCat-Video通过创新的Block-Causual Attention机制和GRPO后训练技术,从根本上解决了行业普遍存在的色彩漂移、画质降解、动作断裂等技术痛点。在连续生成5分钟长视频的过程中,模型能够保持跨帧时序一致性与物理运动合理性,完美满足数字人交互、具身智能训练、世界模型构建等对长时序动态模拟有严苛要求的应用场景。

为实现长视频生成的高效推理,LongCat-Video创新性地融合了块稀疏注意力(BSA)与条件token缓存机制。通过将3D视觉token分块并仅对关键块计算注意力,模型将计算量降至标准密集注意力的10%以下,即使处理93帧及以上的长序列仍能保持效率与质量的双重优势。这种优化使得LongCat-Video在生成5分钟级别长视频时,不仅保证零质量损失,还大幅降低了推理冗余,打破了长视频生成领域"时长与质量不可兼得"的行业瓶颈。

针对高分辨率视频生成的计算资源瓶颈,LongCat-Video采用"二阶段粗到精生成(C2F)+模型蒸馏"的组合优化策略。首先生成480p、15fps的低分辨率视频,再通过LoRA精调模块超分至720p、30fps,在提升效率的同时优化画面细节。同时结合Classifier-Free Guidance(CFG)与一致性模型(CM)蒸馏技术,将采样步骤从50步减至16步,使视频推理速度提升10.1倍,实现了生成质量与效率的最优平衡。

在性能评估方面,LongCat-Video通过内部基准测试与公开基准测试的双重验证,全面覆盖文本生成视频、图像生成视频两大核心任务。测试结果显示,这个拥有136亿参数的视频生成基座模型,在文本对齐度、视觉质量、运动连贯性等关键指标上均表现优异,综合性能跻身开源领域SOTA行列,尤其在VBench等权威公开基准测试中展现出领先优势。

目前,LongCat-Video项目已在GitHub、Hugging Face等开源平台同步发布相关代码与模型权重,开发者可通过项目主页获取完整技术文档和视频生成效果展示。美团技术团队表示,将持续推进视频生成技术的创新与应用,通过LongCat-Video模型为业界提供高质量的视频生成能力,共同探索人工智能世界模型的无限可能。

登录后查看全文
热门项目推荐
相关项目推荐