在ExoPlayer中获取解码后的YUV帧数据并处理

背景介绍

ExoPlayer是Android平台上广泛使用的媒体播放库，相比Android原生MediaPlayer提供了更高的灵活性和可扩展性。在实际开发中，开发者经常需要获取视频解码后的原始帧数据，用于计算机视觉处理、AI模型推理等场景。

获取解码帧数据的实现方案

在ExoPlayer架构中，视频解码后的原始帧数据通常以YUV格式存储在SurfaceTexture中。要获取这些数据，主要有以下几种实现方式：

1. 使用TextureView和SurfaceTexture

通过TextureView可以获取到SurfaceTexture，进而访问解码后的帧数据：

1. 创建自定义TextureView并实现SurfaceTextureListener
2. 在onSurfaceTextureAvailable回调中获取SurfaceTexture
3. 将SurfaceTexture与ExoPlayer关联
4. 通过SurfaceTexture.updateTexImage()获取最新帧

2. 使用ImageReader API

对于Android 5.0及以上版本，可以使用ImageReader更高效地获取帧数据：

// 创建ImageReader实例
ImageReader imageReader = ImageReader.newInstance(
    width, height, 
    ImageFormat.YUV_420_888, 
    2 // 缓冲区数量
);

// 将Surface与ExoPlayer关联
player.setVideoSurface(imageReader.getSurface());

// 获取帧数据
Image image = imageReader.acquireLatestImage();
// 处理image数据...

3. 自定义视频渲染器

对于更高级的需求，可以实现自定义的VideoRenderer：

1. 继承BaseRenderer或实现Renderer接口
2. 重写render方法处理解码后的样本数据
3. 将自定义渲染器通过ExoPlayerFactory注入

YUV数据转换为RGB格式

获取到YUV帧数据后，通常需要转换为RGB格式供AI模型处理。常见转换方法包括：

1. 使用RenderScript

ScriptIntrinsicYuvToRGB yuvToRgb = ScriptIntrinsicYuvToRGB.create(
    rs, Element.U8_4(rs)
);

// 分配输入输出内存
Allocation in = Allocation.createFromBitmap(rs, yuvBitmap);
Allocation out = Allocation.createFromBitmap(rs, rgbBitmap);

// 执行转换
yuvToRgb.setInput(in);
yuvToRgb.forEach(out);
out.copyTo(rgbBitmap);

2. 使用OpenCV库

// YUV转RGB
Imgproc.cvtColor(yuvMat, rgbMat, Imgproc.COLOR_YUV2RGB_NV21);

// 或者使用更精确的转换
Imgproc.cvtColor(yuvMat, rgbMat, Imgproc.COLOR_YUV2RGB_I420);

3. 手动实现转换算法

对于性能敏感场景，可以手动实现YUV到RGB的转换：

void yuvToRgb(byte[] yuv, int width, int height, int[] rgb) {
    final int frameSize = width * height;
    
    for (int j = 0, yp = 0; j < height; j++) {
        int uvp = frameSize + (j >> 1) * width;
        int u = 0, v = 0;
        
        for (int i = 0; i < width; i++, yp++) {
            int y = (0xff & yuv[yp]) - 16;
            if (y < 0) y = 0;
            
            if ((i & 1) == 0) {
                v = (0xff & yuv[uvp++]) - 128;
                u = (0xff & yuv[uvp++]) - 128;
            }
            
            // YUV转RGB公式
            int y1192 = 1192 * y;
            int r = (y1192 + 1634 * v);
            int g = (y1192 - 833 * v - 400 * u);
            int b = (y1192 + 2066 * u);
            
            // 数值范围检查和赋值
            rgb[yp] = 0xff000000 | 
                     ((r < 0) ? 0 : ((r > 262143) ? 255 : (r >> 10))) << 16 |
                     ((g < 0) ? 0 : ((g > 262143) ? 255 : (g >> 10))) << 8 |
                     ((b < 0) ? 0 : ((b > 262143) ? 255 : (b >> 10)));
        }
    }
}

性能优化建议

1. 减少内存拷贝：尽量在原生内存中处理数据，避免不必要的拷贝
2. 使用硬件加速：优先使用RenderScript或OpenCL等硬件加速方案
3. 异步处理：将帧处理放在独立线程，避免阻塞UI线程
4. 分辨率适配：根据实际需求选择合适的分辨率，不必总是使用原始分辨率
5. 缓冲区复用：重用内存缓冲区减少GC压力

实际应用案例

在AI视频处理应用中，典型的处理流程如下：

1. 通过ExoPlayer获取视频流
2. 使用ImageReader获取YUV帧
3. 转换为RGB格式
4. 输入到TensorFlow Lite模型进行推理
5. 将处理结果渲染到SurfaceView或TextureView

这种架构既利用了ExoPlayer强大的媒体播放能力，又能灵活地进行AI处理，是当前移动端智能视频处理的优选方案。