OpenCV 色差校正实战：基于多项式模型的横向色差标定与 Python/C++ 校正实现

本文围绕 OpenCV photo 模块中的横向色差（Lateral Chromatic Aberration）校正功能展开：从色差的物理成因与多项式建模原理讲起，完整走一遍“打印黑圆片标定板 → 拍照 → 用 chromatic_calibration.py 标定 → 导出 YAML 系数 → 调用 cv.correctChromaticAberration 校正图像”的完整工作流，并结合源码深入剖析磁盘中心亚像素提取、KD 树配对、最小二乘 + L-BFGS-B 优化拟合以及 remap 重采样等关键实现细节，帮助你彻底掌握这套相机镜头色差的量化建模与批量校正方案。

一、横向色差是什么，OpenCV 如何建模它

横向色差（lateral chromatic aberration）发生在不同波长的光聚焦到略微不同的成像位置时。它的典型表现是高对比度边缘处出现红/蓝色边（red/blue fringes），在老相机、低质量镜头上尤为常见。由于这是镜头本身的属性，用同一套相机+镜头拍摄的每张照片都会以一致的方式出现，因此一次标定即可用于校正该套件的任意照片。

OpenCV 的校正方案遵循 Rudakova 等人的论文（文献键 rudakova2013precise，见 modules/photo/include/opencv2/photo.hpp 中的 @cite rudakova2013precise 标注）：

1. 以绿色通道为参考。把红色、蓝色通道相对绿色通道的错位看作一种几何畸变，目标是估计一个能把 R/B 通道对齐到 G 通道的映射。
2. 多项式位移模型。每个通道的错位被建模为若干次多项式：论文中常取 11 次，但源码实现表明更低的次数也能获得相近精度且性能更好（后文 scan 子命令就是用来扫出最优次数的）。
3. 超定拟合。标定板要求“黑色圆盘的数量远多于多项式系数个数”，从而获得恰当的最小二乘拟合。

从源码结构看，多项式基函数由 apps/chromatic-aberration-calibration/chromatic_calibration.py 中的 monomial_terms 生成：对归一化坐标 (x_n, y_n) 枚举所有 i + j <= degree 的项 x_n^i * y_n^j，总项数为三角数 M = (d+1)(d+2)/2。坐标归一化方式为 x_n = (x - width/2) / (width/2)（见 L73-L81 的 Polynomial2D.delta），即把像素坐标归一到以图像中心为原点、半宽/半高为单位长度的 [-1, 1] 区间，这保证了不同分辨率标定板下系数量纲一致。C++ 端在 modules/photo/src/chromatic_aberration_correction.cpp 的 buildRemapsFromCoeffMat 中使用了完全相同的归一化约定，这也是 Python 标定产物能被 C++ 校正函数直接读取的原因。

二、标定流程：从标定板照片到 YAML 系数

官方教程给出的三步标定流程如下：

1. 打印标定板。使用 opencv_extra 仓库 testdata/cv/cameracalibration/chromatic_aberration/chromatic_aberration_pattern_a3.png 提供的照片（白底黑圆片网格）。由于色差边出现在物体边缘，圆盘边缘能提供大量不同位置的错位样本，从而精确建模。该脚本头注释也给出了自行生成标定板的方法：可参照仓库内 generate_pattern.py 的模式生成脚本，用 --type circles --rows 26 --columns 37 --square_size 11 --radius_rate 2.75 等参数生成 A3 尺寸（420×297mm）的圆形图案，再转换为 PNG。
2. 拍摄。用目标相机拍一张或多张标定板照片，确保所有圆盘入镜、标定板尽量铺满画面——因为色差在画面边缘和角落最强。肉眼应当能看到彩色边。
3. 运行标定，即 chromatic_calibration.py。其命令行接口为：

chromatic_calibration.py calibrate [-h] [--degree DEGREE] --coeffs_file YAML image
chromatic_calibration.py correct   [-h] --coeffs_file YAML [-o OUTPUT] image
chromatic_calibration.py full      [-h] [--degree DEGREE] --coeffs_file YAML [-o OUTPUT] image
chromatic_calibration.py scan      [-h] --degree_range k0 k1 image

各子命令职责（结合 parse_args 的参数定义）：

子命令	参数	作用
calibrate	image（可多张）、--degree（默认 11）、--coeffs_file（必填）	估计多项式系数并输出到 YAML，供校正函数使用
correct	image、--coeffs_file（必填）、-o/--output（默认 corrected.png）	读取已保存系数，调用 cv2.correctChromaticAberration 校正单张图
full	兼具前两者参数	先标定，再立即校正第一张标定板照片，一步到位
scan	--degree_range k0 k1（闭区间）、--method（优化器，默认 POWELL）	遍历次数范围，输出各次数的质量对比表

calibrate 的内部流程（对应 calibrate 函数）：

• 拆分 BGR 三个通道，在 G 通道作参考，分别在 R/B/G 通道检测圆盘中心（亚像素精度）；
• 用 KD 树把 R/B 通道中心与 G 通道中心配对，得到逐盘位移向量；
• 构造最高 --degree 次的单omial 基，先最小二乘求初值，再用优化算法精化；
• 保存 YAML：image_width、image_height，以及 red_channel/blue_channel 各自的 coeffs_x、coeffs_y（长度 M=(d+1)(d+2)/2）和 rms 残差。

多张标定图会被拼接（concatenate）后统一拟合，但要求分辨率一致，否则抛出 ValueError（见 L387-L394）。

scan 子命令（cmd_scan）在 k0..k1 闭区间内为每个次数拟合模型，然后用该次数的多项式把 R/B 通道的整圈圆盘轮廓向 G 通道轮廓 warp，测量最近邻距离，打印红/蓝两通道的 max / mean / std（像素）对比表。虽然高次数几乎总能更好地建模色差，但低次数快得多——因此推荐先 scan 选次数，再用该次数 calibrate。

标定脚本的源码细节

• 亚像素中心检测 detect_disk_centres：高斯模糊 → Otsu 反阈值 → 椭圆形态学开运算去噪 → findContours 提取外轮廓，按面积（默认 min_area=20）和圆度（4πA/P² >= 0.7）过滤，cv2.fitEllipse 得到椭圆中心后，把轮廓点平移旋转到椭圆主轴坐标系，构造椭圆方程 f(p) = (p_x/a)² + (p_y/b)² - 1，对其梯度做最小二乘（np.linalg.lstsq）解出中心修正量 delta，实现亚像素定位。
• KD 树配对 pair_keypoints：以 G 通道中心建 cKDTree，查询 R/B 中心，distance_upper_bound=30 像素的截断距离保证配对不漂移；位移取 ref - target。
• 两级优化拟合 fit_channel：先 np.linalg.lstsq 求线性初值，再交给 scipy.optimize.minimize（默认 L-BFGS-B，maxiter=500、ftol=1e-9）精化，并返回 rms = sqrt(fun/N)。
• 校正重映射 correct_image：由多项式生成整幅 map_x = x - dx, map_y = y - dy 网格，cv2.remap 分别重采样 R/B 通道（INTER_LINEAR、BORDER_REPLICATE），G 通道原样合并。

YAML 校验逻辑 validate_calibration_dict 值得注意：它从系数个数 m 反解次数 d = round((sqrt(1+8m)-3)/2)，并验证 m == (d+1)(d+2)/2、coeffs_x/coeffs_y 等长、R/B 两通道系数规模一致、无 NaN/Inf。这与 C++ 侧 loadChromaticAberrationParams 的校验完全对应。

三、核心 API 深入：loadChromaticAberrationParams 与 correctChromaticAberration

校正侧由 photo 模块的两个 API 完成，声明见 opencv2/photo.hpp，实现见 chromatic_aberration_correction.cpp：

cv.loadChromaticAberrationParams

CV_EXPORTS_W void loadChromaticAberrationParams(
    const FileNode& node, OutputArray coeffMat,
    CV_OUT Size& calib_size, CV_OUT int& degree);

从已打开的 FileStorage 节点读取 image_width/image_height 和 red_channel/blue_channel 下的 coeffs_x、coeffs_y，打包为一个 4×N 的 CV_32F 矩阵（L76-L92）：

行	内容
0	蓝色通道 dx 系数
1	蓝色通道 dy 系数
2	红色通道 dx 系数
3	红色通道 dy 系数

N 必须是三角数，函数据此反推多项式次数 degree 并与 calib_size 一起输出；任何缺失键、长度不一致、NaN/Inf、R/B 系数规模不等都会触发 CV_Error_（L20-L72）。

cv.correctChromaticAberration

CV_EXPORTS_W void correctChromaticAberration(
    InputArray input_image, InputArray coefficients, OutputArray output_image,
    const Size& image_size, int calib_degree, int bayer_pattern = -1);

实现要点（L197-L241）：

1. Bayer 输入支持：单通道输入视为原始 Bayer 图，用 bayer_pattern（如 cv.COLOR_BayerBG2BGR=46、BayerGB=47、BayerGR=48、BayerRG=49）先 demosaicing；三通道输入按 BGR 处理，bayer_pattern 被忽略（若对单通道图不传有效 pattern 会直接报错）。
2. 尺寸硬约束：输入图尺寸必须与 calib_size 完全一致，否则抛 StsBadArg——校正模型与标定分辨率绑定，不能校正其他分辨率的图。
3. 重映射构建：buildRemapsFromCoeffMat（L95-L195）用 parallel_for_ 并行遍历图像网格，逐像素计算归一化坐标的幂次 x_pow/y_pow（增量乘法避免重复幂运算），按 t=0..degree, i=0..t 的固定顺序累加 x^n y^m 项，生成 map_x = X - dx、map_y = Y - dy。红色取矩阵第 2/3 行，蓝色取第 0/1 行（L231-L232）。
4. 通道级 remap：R/B 通道分别 remap(..., INTER_LINEAR, BORDER_REPLICATE)，G 通道不参与 warp，最后 merge 输出。

测试覆盖位于 modules/photo/test/test_chromatic_aberration.cpp 与 modules/python/test/test_chromatic_aberration.py，性能基准见 modules/photo/perf/perf_chromatic_aberration.cpp。

四、Python 最小校正示例

教程给出的最小示例（原教程文档 py_chromatic_aberration.markdown 中混入了一行 C++ 语句，这里按仓库内 Python 惯例修正为纯 Python 可运行版本，与 samples/python/snippets/chromatic_aberration_correction.py 的实际调用一致）：

import cv2 as cv

INPUT      = "path/to/input.jpg"
CALIB_YAML = "path/to/ca_photo_calib.yaml"
OUTPUT     = "corrected.png"
BAYER      = -1   # <0 表示输入是三通道 BGR；单通道 Bayer 图传 46/47/48/49
SHOW       = True

img = cv.imread(INPUT, cv.IMREAD_UNCHANGED)

fs = cv.FileStorage(CALIB_YAML, cv.FILE_STORAGE_READ)
coeffMat, calib_size, degree = cv.loadChromaticAberrationParams(fs.root())
corrected = cv.correctChromaticAberration(img, coeffMat, calib_size, degree, BAYER)

if SHOW:
    cv.namedWindow("Original",  cv.WINDOW_AUTOSIZE)
    cv.namedWindow("Corrected", cv.WINDOW_AUTOSIZE)
    cv.imshow("Original",  img)
    cv.imshow("Corrected", corrected)
    print("Press any key to close...")
    cv.waitKey(0)
    cv.destroyAllWindows()

cv.imwrite(OUTPUT, corrected)

关键点：

• loadChromaticAberrationParams 一次读出三要素（4×N 系数矩阵、标定尺寸、多项式次数），degree 由系数个数反推，无需手工指定；
• 输入图分辨率必须等于标定分辨率，这是 correctChromaticAberration 的硬约束；
• 完整命令行式用法（带 --bayer、--no-gui 等选项）见 samples/python/snippets/chromatic_aberration_correction.py，C++ 对应示例见 samples/cpp/snippets/chromatic_aberration_correction.cpp（含完整的 Bayer pattern 码表与 CommandLineParser 用法）。

五、YAML 系数文件格式与端到端工作流

save_calib_result（L191-L212）输出的 YAML 结构如下：

blue_channel:
  coeffs_x: [...]   # 长度 M = (d+1)(d+2)/2，float 列表
  coeffs_y: [...]
  rms: 0.123       # 拟合残差（像素）
red_channel:
  coeffs_x: [...]
  coeffs_y: [...]
  rms: 0.105
image_width: 4608
image_height: 3456

推荐的端到端工作流：

1. 用同一相机+镜头拍若干张黑圆片标定板照片（铺满画面，覆盖边缘区域）；
2. python chromatic_calibration.py scan img1.png --degree_range 4 11 扫次数，看 max/mean/std 距离表，在精度与速度之间取舍（默认 11 次最慢但通常精度最高，低次数往往已足够）；
3. python chromatic_calibration.py calibrate img1.png img2.png --degree 9 --coeffs_file calib.yaml 生成系数文件；
4. 对同相机、同镜头、同分辨率的任意照片执行 correct 子命令，或在自己的 Python/C++ 程序中调用上述两个 API。

适用前提与限制（以当前仓库源码为准）：

• 校正模型只建模横向色差，且以 G 通道为不动参考，输出分辨率与标定一致；
• 系数与“相机+镜头+分辨率”绑定，更换镜头或输出分辨率需重新标定；
• 标定依赖标定板圆盘可被 Otsu 阈值+轮廓检测稳定识别，拍摄光照不均或圆盘粘连时需重新拍摄；
• scan 子命令的 --method 参数用于切换 scipy 优化器（默认 POWELL），而常规 calibrate 固定使用 L-BFGS-B 精化。

参考资料：Rudakova, A., et al.（文献键 rudakova2013precise，Bibliography 见 doc/opencv.bib），横向色差的精确标定与校正算法来源。