IntelRealSense/librealsense项目：解决双D435摄像头YOLOv10物体检测GPU资源竞争问题

问题背景

在使用Intel RealSense D435系列深度摄像头进行物体检测时，许多开发者会遇到一个典型问题：当系统连接单个摄像头时，基于YOLOv10的物体检测能够正常运行；但当同时连接两个D435摄像头进行实时物体检测时，系统会在首次检测到物体后崩溃。这种情况通常发生在配备NVIDIA 3080 GPU的高性能笔记本电脑上，如ThinkPad系列。

问题本质分析

这种现象的核心原因是GPU资源竞争。当两个摄像头同时进行物体检测时，YOLOv10模型会尝试同时使用GPU进行计算，导致以下问题：

1. 显存分配冲突：两个检测进程同时请求大量显存资源
2. CUDA上下文竞争：多个进程试图建立独立的CUDA上下文
3. 视频流处理瓶颈：实时视频流处理需要稳定的资源分配

解决方案

1. 显存资源管理

对于Python实现，可以通过以下方式优化显存使用：

import torch

# 在初始化模型前设置显存分配策略
torch.cuda.set_per_process_memory_fraction(0.5)  # 每个进程限制使用50%显存

2. 多进程架构设计

更可靠的解决方案是采用多进程架构，为每个摄像头创建独立的检测进程：

from multiprocessing import Process
import cv2
from ultralytics import YOLO

def camera_detection(camera_id, model_weights):
    # 每个进程有自己的模型实例
    model = YOLO(model_weights)
    cap = cv2.VideoCapture(camera_id)
    
    while True:
        ret, frame = cap.read()
        if not ret:
            break
            
        # 执行检测
        results = model(frame)
        rendered = results[0].plot()
        
        cv2.imshow(f'Camera {camera_id}', rendered)
        if cv2.waitKey(1) == 27:
            break

if __name__ == '__main__':
    # 为每个摄像头创建独立进程
    processes = [
        Process(target=camera_detection, args=(0, 'yolov10n.pt')),
        Process(target=camera_detection, args=(1, 'yolov10n.pt'))
    ]
    
    for p in processes:
        p.start()
    
    for p in processes:
        p.join()

3. 实时视频流处理优化

对于RealSense D435摄像头，还需要特别注意视频流配置：

import pyrealsense2 as rs

def setup_realsense(camera_id):
    pipeline = rs.pipeline()
    config = rs.config()
    config.enable_device(camera_id)
    config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30)
    pipeline.start(config)
    return pipeline

系统配置建议

1. Ubuntu系统设置：

   • 确保NVIDIA驱动版本与CUDA版本兼容
   • 设置适当的GPU功率管理模式

2. RealSense固件：

   • 保持所有D435摄像头固件版本一致
   • 使用最新的librealsense SDK

3. 环境配置：

   • 为每个Python进程设置独立的CUDA_VISIBLE_DEVICES
   • 考虑使用Docker容器隔离每个摄像头进程

性能调优技巧

1. 模型选择：根据实际需求选择YOLOv10的不同规模模型（n/s/m/l/x）
2. 分辨率调整：适当降低输入分辨率可显著减少GPU负载
3. 帧率控制：不是所有应用都需要30FPS，可降低至15-20FPS
4. 批处理优化：如果可以接受轻微延迟，可考虑帧缓冲批处理

结论

通过合理的资源分配和架构设计，完全可以实现双D435摄像头并行物体检测的稳定运行。关键在于理解GPU资源竞争的本质，并采用适当的技术手段进行资源隔离和管理。多进程架构是目前最可靠的解决方案，既能保证性能，又能确保系统稳定性。