OpenVINO Notebooks中YOLOv8对象检测的优化实践

背景介绍

OpenVINO Notebooks项目提供了丰富的示例代码，帮助开发者快速上手Intel OpenVINO工具套件。其中关于YOLOv8对象检测的优化教程在实际应用中遇到了一些兼容性问题，本文将深入分析问题原因并提供解决方案。

问题分析

在官方教程中，尝试通过直接修改YOLOv8模型的predictor.inference属性来实现OpenVINO推理时，会遇到"NoneType对象没有inference属性"的错误。这主要是因为：

1. YOLOv8库的版本更新导致接口变化
2. 模型初始化流程不完整，predictor对象未正确设置
3. 官方示例代码与最新版YOLOv8库存在兼容性问题

解决方案

基于对YOLOv8源代码的分析，我们提出以下改进方案：

import cv2
import torch
import numpy as np
import openvino as ov
from PIL import Image
from ultralytics.models.yolo.detect import DetectionPredictor
from ultralytics.utils import ASSETS

class RunIntelModel:
    def __init__(self) -> None:
        # 初始化参数配置
        self.args = dict(model='hand.pt', source=ASSETS, imgsz=(640,640), save=True)
        
        # 创建预测器并设置模型
        self.predictor = DetectionPredictor(overrides=self.args)
        self.predictor.setup_model("hand.pt")
        
        # 关键步骤：关闭PyTorch推理模式
        self.predictor.model.pt = False
        
        # 加载OpenVINO模型
        self.det_model_path = "hand_openvino_model/hand.xml"
        self.openvino_model = self.setup_model()
        
        # 替换推理方法
        self.predictor.inference = self.infer

    def setup_model(self):
        # 初始化OpenVINO核心
        core = ov.Core() 
        
        # 读取模型并调整输入形状
        det_ov_model = core.read_model(self.det_model_path)
        det_ov_model.reshape({0: [1, 3, 640, 640]})
        
        # 配置GPU优化参数
        ov_config = {"GPU_DISABLE_WINOGRAD_CONVOLUTION": "YES"}
        
        # 编译模型
        det_compiled_model = core.compile_model(det_ov_model, "GPU.1", ov_config) 
        return det_compiled_model

    def infer(self, *args):
        # 自定义推理方法
        print(args[0].shape)
        result = self.openvino_model(args)
        return torch.from_numpy(result[0])

    def predict(self, raw_img):
        # 执行预测
        res = self.predictor(raw_img)
        if res[0].boxes.shape[0] > 0:
            return res[0].boxes.conf[0], res[0].boxes.xywh
        else:
            return 0, [0, 0, 0, 0]

    def __call__(self, img):
        # 使实例可调用
        return self.predict(raw_img=img)

关键改进点

1. 正确的模型初始化流程：通过setup_model方法确保模型属性正确初始化，避免NoneType错误。

2. 输入尺寸一致性处理：显式设置模型输入尺寸为640x640，确保与OpenVINO模型要求一致。

3. 推理模式切换：将model.pt属性设为False，禁用PyTorch原生推理。

4. GPU优化配置：通过禁用Winograd卷积优化，提升在某些GPU上的推理性能。

实际应用建议

1. 模型转换：确保YOLOv8模型已正确导出为OpenVINO格式（.xml和.bin文件）。

2. 输入预处理：注意输入图像的预处理方式应与训练时一致。

3. 性能调优：根据实际硬件调整OpenVINO的编译参数。

4. 错误处理：完善预测结果的空值处理逻辑，增强代码健壮性。

总结

本文针对OpenVINO Notebooks中YOLOv8教程的兼容性问题，提出了基于最新YOLOv8库的改进方案。通过正确初始化预测器、处理输入尺寸一致性以及优化GPU配置，实现了YOLOv8模型在OpenVINO上的高效推理。这一解决方案不仅解决了原始教程中的错误，还提供了更好的性能和稳定性，可作为YOLOv8模型OpenVINO部署的参考实现。