ESP32-Camera中set_res_raw函数导致图像尺寸读取异常问题分析

问题背景

在使用ESP32-Camera库进行图像采集时，开发者发现当使用sensor->set_res_raw()函数设置自定义图像尺寸后，通过esp_camera_fb_get()获取的图像帧缓冲区中记录的宽度和高度信息与实际JPEG图像尺寸不符。这一现象会导致后续图像处理流程出现错误，因为处理代码依赖这些尺寸参数。

问题现象

当开发者通过set_res_raw设置1200x1200的正方形图像采集区域时，esp_camera_fb_get()返回的帧缓冲区结构体中的width和height字段却显示为1600x1200（UXGA分辨率），与实际JPEG图像的1200x1200尺寸不符。通过JPEGDEC库解析JPEG头部信息可以确认实际图像尺寸确实为1200x1200。

技术分析

问题根源

经过分析，问题出在esp_camera_fb_get()函数的实现逻辑上。该函数在获取帧缓冲区时，直接从预设的分辨率数组(resolution[])中读取尺寸信息，而没有考虑set_res_raw设置的自定义尺寸。这种设计导致无论实际采集的图像尺寸如何变化，返回的帧缓冲区中的尺寸信息始终与初始化时设置的frame_size保持一致。

影响范围

这一问题主要影响以下场景：

1. 使用set_res_raw进行自定义区域采集
2. 需要精确知道图像实际尺寸的应用
3. 依赖帧缓冲区尺寸信息进行后续处理的代码

解决方案

临时解决方案

开发者提供了一个临时解决方案，通过解析JPEG头部信息来获取实际图像尺寸：

typedef struct {
    uint16_t width;
    uint16_t height;
    uint16_t data_offset;
    const uint8_t *input;
    uint8_t *output;
} jpg_decoder;

static unsigned int _jpg_read(void * arg, size_t index, uint8_t *buf, size_t len) {
    jpg_decoder * jpeg = (jpg_decoder *)arg;
    if(buf) {
        memcpy(buf, jpeg->input + index, len);
    }
    return len;
}

static bool _jpg_write(void* arg, uint16_t x, uint16_t y, uint16_t w, uint16_t h, uint8_t* data) {
    jpg_decoder * jpeg = (jpg_decoder *)arg;
    if(!data){
        if(x == 0 && y == 0){
            jpeg->width = w;
            jpeg->height = h;
        }
    }
    return true;
}

static void extractJpegSize(uint8_t* buffer, size_t len, size_t& width, size_t& height) {
    jpg_decoder jpeg;
    jpeg.input = buffer;
    jpeg.data_offset = 0;
    esp_jpg_decode(len, JPG_SCALE_NONE, _jpg_read, _jpg_write, (void*)&jpeg);
    width = jpeg.width;
    height = jpeg.height;
}

static void fixCameraBuffer(camera_fb_t* fb) {
    if (!fb || !fb->buf) return;
    extractJpegSize(fb->buf, fb->len, fb->width, fb->height);
}

推荐解决方案

从长期来看，建议ESP32-Camera库进行以下改进：

1. 修改esp_camera_fb_get()实现，使其能够正确反映set_res_raw设置的实际图像尺寸
2. 在帧缓冲区结构体中添加原始采集区域信息字段
3. 提供API函数直接获取实际图像尺寸

最佳实践

在使用自定义采集区域时，建议开发者：

1. 始终验证帧缓冲区中的尺寸信息
2. 对于关键应用，实现自己的尺寸验证逻辑
3. 考虑使用上述临时解决方案确保尺寸准确性
4. 关注ESP32-Camera库的更新，及时获取官方修复

总结

ESP32-Camera库在自定义采集区域支持上存在尺寸信息报告不准确的问题，开发者需要特别注意这一情况。通过理解问题本质和采用适当的解决方案，可以确保图像处理流程的正确性。期待官方在未来版本中修复这一问题，提供更完善的API支持。