libPag项目中SurfaceTexture纹理矩阵偏移问题解析

背景介绍

在Android平台上使用libPag进行视频渲染时，开发者可能会遇到一个关于SurfaceTexture纹理矩阵偏移的技术问题。具体表现为：当播放900x1280分辨率的MP4视频时，系统返回的OES纹理分辨率变为912x1280，并且在最右侧补充了12个像素。通过getTransformMatrix获取的矩阵进行校验后，发现纹理与输入源之间存在1-2个像素的拉伸差异。

问题本质

这个问题并非系统播放器的bug，而是Android系统有意为之的设计。其核心原因在于：

1. 纹理采样特性：OpenGL ES的纹理线性插值采样会采样到相邻像素，因此需要向中间偏移0.5个像素才能避免采样到边界外的像素。

2. YUV格式处理：由于Android解码输出的是YUV格式像素，其中UV分量是两像素共享一份数据，因此需要额外偏移0.5个像素。如果不这样做，渲染时就会出现绿边现象。

技术细节

在Android系统源码中，SurfaceTexture.cpp文件实现了这一逻辑。当启用过滤(mFilteringEnabled为true)时，系统会自动应用这种偏移修正。这种设计确保了YUV视频的正常渲染，避免出现边缘伪影。

特殊情况处理

对于带有透明通道的RGBAAA格式内容，情况有所不同：

1. libPag在渲染这类内容时采用了严格对齐的方式
2. 系统默认的偏移会导致透明边缘效果异常
3. 由于Android播放器未开放setFilteringEnabled接口，开发者需要自行重新计算transformMatrix

解决方案建议

针对不同场景，开发者可以采取以下策略：

1. 普通YUV视频：直接使用系统返回的transformMatrix，接受微小的偏移，这是系统设计的预期行为。

2. 带透明通道内容：

   • 检查SurfaceTexture的mFilteringEnabled状态
   • 当其为false时，系统不会应用偏移修正
   • 若必须精确控制，可自行计算变换矩阵

3. libPag集成：

   • libPag内部已经针对RGBAAA格式做了特殊处理
   • 过滤掉了不必要的偏移
   • 开发者可以借鉴其实现方式

总结

理解Android SurfaceTexture的transformMatrix工作机制对于视频渲染开发至关重要。系统设计的这种偏移行为是为了解决YUV格式视频的渲染问题，但在处理带透明通道内容时需要特殊处理。开发者应根据具体内容格式选择合适的矩阵处理策略，确保渲染效果符合预期。