CogVideo项目中的竖屏视频生成技术解析

背景介绍

CogVideo作为THUDM团队开发的多模态视频生成模型，在1.5版本中提供了强大的图像到视频(I2V)生成能力。然而，在实际应用中，开发者发现模型在处理竖屏分辨率(如768×1360)时存在技术障碍，这引发了关于模型分辨率支持范围的深入探讨。

问题本质分析

通过技术社区的讨论和实际测试，我们发现问题的核心在于模型的旋转位置编码(Rotary Positional Embedding)实现机制。该机制在设计时假设了视频宽度大于高度的默认情况，导致当输入高度大于宽度时，张量维度计算出现不匹配。

具体表现为：当尝试生成768×1360分辨率的视频时，系统会抛出"RuntimeError: Sizes of tensors must match except in dimension 3"错误，提示张量尺寸在第三维度上不匹配(期望85但得到48)。

技术解决方案

1. 官方建议方案

项目维护者明确指出，要解决这一问题需要：

1. 从源代码安装最新版diffusers库
2. 获取最新的模型提交版本
3. 确保使用正确的模型类型(I2V模型用于图像到视频，T2V模型用于文本到视频)

2. 社区验证方案

技术社区通过实践发现，可以通过修改旋转位置编码的实现逻辑来解决这一问题。关键点在于：

1. 调整样本宽度和高度的预设值(原为170和96)
2. 当检测到高度大于宽度时，交换两者的计算顺序
3. 确保最终分辨率是16的倍数，以满足模型架构要求

3. 分辨率适配算法

项目中的SAT实现提供了一个可靠的分辨率适配算法：

def nearest_multiple_of_16(n):
    lower_multiple = (n // 16) * 16
    upper_multiple = (n // 16 + 1) * 16
    return lower_multiple if abs(n - lower_multiple) < abs(n - upper_multiple) else upper_multiple

if img_H < img_W:
    H = 96
    W = int(nearest_multiple_of_16(img_W / img_H * H * 8)) // 8
else:
    W = 96
    H = int(nearest_multiple_of_16(img_H / img_W * W * 8)) // 8

实际应用建议

1. 模型选择：明确区分I2V和T2V模型的使用场景，避免混用
2. 分辨率设置：
   • 优先使用官方推荐的横屏分辨率(如1360×768)
   • 如需竖屏输出，建议采用修改后的代码实现
   • 测试分辨率应保持16的倍数关系
3. 环境配置：
   • 使用pip从源码安装diffusers库
   • 确保模型版本与代码兼容
4. 生成质量：
   • 横屏分辨率下画面稳定性更好
   • 非常规比例可能导致画面拉伸或稳定性下降

技术展望

随着视频生成技术的发展，未来版本有望：

1. 原生支持任意长宽比输入
2. 改进位置编码机制，消除分辨率限制
3. 提供更友好的API接口和错误提示
4. 增强竖屏内容的生成质量

通过深入理解CogVideo的架构设计和位置编码机制，开发者可以更灵活地应用这一强大工具，创造出符合各种场景需求的视频内容。