MNN图像预处理：保持宽高比缩放与填充的实现方法

背景介绍

在使用MNN深度学习推理框架进行图像处理时，经常需要将不同尺寸的输入图像调整为模型所需的固定尺寸。直接缩放会导致图像变形失真，因此需要采用保持宽高比的缩放方式，并在必要时进行填充处理。

问题分析

当原始图像尺寸为1000x748，而模型需要320x320的输入时，直接缩放会导致图像严重变形。正确的做法是先按比例缩放到320x238（保持原宽高比），然后在上下各填充41像素（共82像素）以达到320x320的尺寸。

OpenCV实现方案

在OpenCV中，我们可以使用以下代码实现这一需求：

int resizedWidth = 320;
int resizedHeight = 238;
int Pad_W = 0;
int Pad_H = (320 - 238) / 2;
cv::resize(croppedImg, resizedImg, cv::Size(resizedWidth, resizedHeight), 0.0, 0.0, 2);
cv::copyMakeBorder(resizedImg, resizedImg, Pad_H, Pad_H, Pad_W, Pad_W,
                   cv::BORDER_CONSTANT, cv::Scalar(128, 128, 128));

这种方法简单直观，但我们需要在MNN框架中实现相同的效果。

MNN实现方案

在MNN中，可以通过ImageProcessing模块实现类似功能。以下是关键实现步骤：

1. 初始化配置：设置图像处理参数，包括填充方式和填充值
2. 创建变换矩阵：定义从原始图像到目标尺寸的变换关系
3. 设置填充：指定填充值和填充位置
4. 执行转换：将处理后的图像数据输入到模型中

// 基本参数设置
int model_w = 320;
int model_h = 320;
int img_w = 1000;
int img_h = 748;
int img_c = 3;
int resized_w = 320;
int resized_h = 238;

// 配置图像处理参数
config.wrap = MNN::CV::Wrap::ZERO;
MNN::Tensor *tensorPtr = netPtr->getSessionInput(sessionPtr, nullptr);
MNN::CV::Matrix transform;

// 设置输入张量尺寸
std::vector<int> dims = {1, img_c, model_h, model_w};
netPtr->resizeTensor(tensorPtr, dims);
netPtr->resizeSession(sessionPtr);

// 定义变换矩阵
transform.preScale(1.0f / (float)img_w, 1.0f / (float)img_h);
transform.preScale((float)resized_w, (float)resized_h);
transform.postScale(1.0f / (float)model_w, 1.0f / (float)model_h);
transform.postScale((float)img_w, (float)img_h);

// 创建并配置图像处理器
MNN::CV::ImageProcess *process = MNN::CV::ImageProcess::create(config);
process->setPadding(128);  // 设置填充值为128
process->setMatrix(transform);

// 执行转换
process->convert(data, img_w, img_h, img_w * img_c, tensorPtr);
netPtr->runSession(sessionPtr);

调试技巧

1. 输出检查：可以使用MNN提供的demo/exec/pictureRotate.cpp中的方法将处理后的图像输出为PNG格式，验证变换矩阵是否正确
2. MNN-OpenCV集成：如果项目允许，可以启用MNN的OpenCV支持（编译时添加-DMNN_BUILD_OPENCV=true），这样可以使用更接近OpenCV的处理方式

注意事项

1. 变换矩阵的定义顺序很重要，preScale和postScale会影响最终效果
2. 填充值需要根据模型要求设置，常见的有0、128等
3. 在处理前确保输入张量的尺寸已正确设置

通过以上方法，我们可以在MNN中实现与OpenCV类似的保持宽高比的图像缩放和填充功能，为模型提供符合要求的输入数据。