ZLPhotoBrowser视频预览尺寸计算问题解析
问题背景
在使用ZLPhotoBrowser进行视频预览时,开发者可能会遇到视频有声音但没有图像显示的问题。经过分析,这通常是由于视频帧尺寸计算错误导致的,特别是在处理带有旋转或特殊变换的视频时。
问题根源
问题的核心在于视频轨道(AVAssetTrack)的自然尺寸(naturalSize)和变换矩阵(preferredTransform)的处理不当。当视频包含旋转信息时,直接使用naturalSize可能会导致计算出的宽度或高度为负数,进而导致视频帧无法正确显示。
解决方案演进
初始方案的问题
最初的实现直接使用了视频轨道的naturalSize,并通过变换矩阵计算出尺寸:
let size = videoTrack.naturalSize.applying(videoTrack.preferredTransform)
这种方法的问题在于,当视频包含旋转时,计算出的尺寸可能包含负值,导致后续的布局计算出现错误。
改进方案
最新版本的ZLPhotoBrowser采用了更稳健的处理方式:
- 首先获取视频轨道的自然尺寸和变换矩阵
- 通过变换矩阵计算出视频的实际旋转角度
- 根据旋转角度决定是否需要交换宽高值
- 确保最终尺寸为正值
具体实现如下:
private func correctVideoSize(for track: AVAssetTrack) -> CGSize {
let size = track.naturalSize
let transform = track.preferredTransform
// 获取视频的旋转角度
let angle = atan2(transform.b, transform.a) * (180 / .pi)
if angle == 90 || angle == -90 {
// 竖屏视频(宽高需要对调)
return CGSize(width: abs(size.height), height: abs(size.width))
} else {
// 横屏视频(宽高不变)
return CGSize(width: abs(size.width), height: abs(size.height))
}
}
技术要点解析
-
视频旋转处理:iOS设备录制的视频可能包含旋转信息,需要通过变换矩阵来判断视频的实际方向。
-
尺寸计算:对于竖屏视频(旋转90度或-90度),需要交换宽高值;对于横屏视频,保持宽高不变。
-
绝对值处理:无论何种情况,最终返回的尺寸都使用绝对值,确保不会出现负值导致布局问题。
-
性能考虑:该方法在视频轨道加载完成后执行,确保获取到正确的视频信息。
最佳实践建议
-
及时更新依赖:使用最新版本的ZLPhotoBrowser可以避免这类已知问题。
-
自定义处理:如果需要自定义视频预览布局,可以参考correctVideoSize方法的实现逻辑。
-
错误处理:在实际应用中,还应该考虑视频轨道加载失败的情况,提供适当的回退方案。
-
测试覆盖:特别测试不同方向(横屏、竖屏)的视频预览,确保在各种情况下都能正确显示。
总结
视频预览显示问题在多媒体应用中很常见,正确处理视频的元数据(特别是旋转信息)是关键。ZLPhotoBrowser的解决方案提供了一个稳健的参考实现,开发者可以借鉴这种处理方式来解决类似问题。理解视频轨道的变换矩阵和尺寸计算原理,有助于开发更健壮的多媒体应用。
Kimi-K2.5Kimi K2.5 是一款开源的原生多模态智能体模型,它在 Kimi-K2-Base 的基础上,通过对约 15 万亿混合视觉和文本 tokens 进行持续预训练构建而成。该模型将视觉与语言理解、高级智能体能力、即时模式与思考模式,以及对话式与智能体范式无缝融合。Python00
GLM-4.7-FlashGLM-4.7-Flash 是一款 30B-A3B MoE 模型。作为 30B 级别中的佼佼者,GLM-4.7-Flash 为追求性能与效率平衡的轻量化部署提供了全新选择。Jinja00
VLOOKVLOOK™ 是优雅好用的 Typora/Markdown 主题包和增强插件。 VLOOK™ is an elegant and practical THEME PACKAGE × ENHANCEMENT PLUGIN for Typora/Markdown.Less00
PaddleOCR-VL-1.5PaddleOCR-VL-1.5 是 PaddleOCR-VL 的新一代进阶模型,在 OmniDocBench v1.5 上实现了 94.5% 的全新 state-of-the-art 准确率。 为了严格评估模型在真实物理畸变下的鲁棒性——包括扫描伪影、倾斜、扭曲、屏幕拍摄和光照变化——我们提出了 Real5-OmniDocBench 基准测试集。实验结果表明,该增强模型在新构建的基准测试集上达到了 SOTA 性能。此外,我们通过整合印章识别和文本检测识别(text spotting)任务扩展了模型的能力,同时保持 0.9B 的超紧凑 VLM 规模,具备高效率特性。Python00
KuiklyUI基于KMP技术的高性能、全平台开发框架,具备统一代码库、极致易用性和动态灵活性。 Provide a high-performance, full-platform development framework with unified codebase, ultimate ease of use, and dynamic flexibility. 注意:本仓库为Github仓库镜像,PR或Issue请移步至Github发起,感谢支持!Kotlin07
compass-metrics-modelMetrics model project for the OSS CompassPython00