强健视频抠图（RVM）：新一代的视频处理神器

简体中文 | 英文

强健视频抠图（RVM） 是一款专为高效、高精度的人像视频抠图设计的官方工具包，源自论文《Robust High-Resolution Video Matting with Temporal Guidance》。与当前大多数处理每一帧图像独立的神经网络模型不同，RVM采用了一种具有时间记忆能力的循环神经网络来处理视频流，从而确保了连贯性和稳定性。这项技术由字节跳动公司研发，可在Nvidia GTX 1080 Ti GPU上实现惊人的4K分辨率下76FPS和高清（HD）下的104FPS实时抠图性能。

最新动态

• 2021年11月3日：修正了train.py中的一个bug。
• 2021年9月16日：代码库遵循GPL-3.0许可协议重新发布。
• 2021年8月25日：源码和预训练模型正式上线。
• 2021年7月27日：相关研究论文被WACV 2022接受。

展示视频

通过观看YouTube或Bilibili上的展示视频，直观体验模型的强大效果。

所有演示视频素材可于Google Drive中获取。

在线演示与快速试用

• 摄像头实时演示: 访问在线平台，即可在浏览器中体验模型，并观察到循环状态的可视化过程。
• Colab演示: 利用免费GPU，在Google Colab上直接测试您的视频文件，无需本地资源。

下载与接入

针对多数场景，我们推荐使用MobileNetv3模型；若您追求极致性能，ResNet50模型则是更佳选择。RVM支持多种推理框架，详情参见推理文档。

框架	下载链接	备注
PyTorch	rvm_mobilenetv3.pth / rvm_resnet50.pth	官方提供的PyTorch权重，详细文档在此
TorchHub	直接使用	入门级使用方式，详情点击这里
TorchScript	多个版本可选	移动端推理推荐，具体操作看文档
ONNX	多种模型格式	支持CPU与CUDA，使用说明此处
TensorFlow	提供SavedModel格式	针对TensorFlow 2用户，参考文档
TensorFlow.js	Web友好	网页运行实例查看，代码起始点

项目亮点

1. 实时性与高性能：在高端GPU上展现出令人瞩目的高速度，支持从标准高清到4K超高清的快速视频处理。
2. 创新的时序处理：首个在视频抠图中深度利用时间连续性的模型，提高了结果的一致性和准确性。
3. 跨平台可用性：提供包括PyTorch、TensorFlow、甚至Web浏览器在内的多框架支持，便于开发者集成。
4. 简易部署与测试：通过提供的在线演示、Colab环境和详尽的示例代码，让用户快速上手。
5. 学术认可：论文被权威会议收录，证明了其科学价值和技术领先性。

结语

对于视频后期制作、虚拟现实应用、直播特效等领域，RVM无疑是一个革命性的工具。无论是专业的内容创作者还是技术探索者，都能从中找到提升工作效率和创作质量的钥匙。立即尝试RVM，开启你的高质量视频处理之旅！