使用Python同时读取多台Intel RealSense D435i相机的RGB图像

概述

在机器人视觉、三维重建和计算机视觉应用中，经常需要同时使用多台深度相机进行数据采集。Intel RealSense D435i是一款集成了RGB摄像头和深度传感器的设备，通过Python的pyrealsense2库可以方便地实现多相机控制。

多相机识别原理

当系统连接多台RealSense D435i相机时，每台设备都有一个唯一的序列号。这个序列号是区分不同相机的关键标识。pyrealsense2库提供了查询设备序列号的功能，开发者可以通过序列号来区分和控制不同的相机实例。

实现方法

1. 设备枚举

首先需要枚举所有连接的RealSense设备，获取它们的序列号：

import pyrealsense2 as rs

# 创建上下文对象
context = rs.context()

# 获取所有连接的设备
devices = context.query_devices()

# 打印设备信息
for i, device in enumerate(devices):
    serial = device.get_info(rs.camera_info.serial_number)
    print(f"相机 {i+1} 序列号: {serial}")

2. 多相机配置

为每台相机创建独立的配置和管道：

# 假设我们有两台相机
serial_numbers = ["相机1序列号", "相机2序列号"]
pipelines = []
configs = []

for serial in serial_numbers:
    # 创建配置
    config = rs.config()
    config.enable_device(serial)
    config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30)
    
    # 创建管道
    pipeline = rs.pipeline()
    
    # 启动管道
    pipeline.start(config)
    
    pipelines.append(pipeline)
    configs.append(config)

3. 实时图像采集

使用独立的线程或循环来采集每台相机的图像：

import cv2
import numpy as np

try:
    while True:
        # 存储所有相机的帧
        frames = []
        
        # 从每台相机获取帧
        for pipeline in pipelines:
            frameset = pipeline.wait_for_frames()
            color_frame = frameset.get_color_frame()
            frames.append(color_frame)
        
        # 显示图像
        for i, frame in enumerate(frames):
            if frame:
                image = np.asanyarray(frame.get_data())
                cv2.imshow(f'Camera {i+1}', image)
        
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

finally:
    # 停止所有管道
    for pipeline in pipelines:
        pipeline.stop()
    cv2.destroyAllWindows()

性能优化建议

1. 同步触发：对于需要精确同步的应用，可以使用硬件同步功能将多台相机同步采集。

2. 分辨率调整：根据应用需求调整分辨率，高分辨率会占用更多带宽和计算资源。

3. 帧率控制：在USB带宽有限的情况下，适当降低帧率可以提高稳定性。

4. 多线程处理：为每台相机使用独立的线程可以提高采集效率。

常见问题解决

1. USB带宽不足：当连接多台相机时，可能会遇到USB带宽不足的问题。解决方法包括：

   • 使用不同的USB控制器
   • 降低分辨率或帧率
   • 使用USB集线器时确保其支持足够带宽

2. 设备识别错误：确保每台相机的序列号正确无误，避免配置错误。

3. 图像不同步：如果需要严格的同步，考虑使用硬件同步线缆连接相机。

总结

通过pyrealsense2库，开发者可以方便地实现多台RealSense D435i相机的RGB图像采集。关键在于正确识别每台设备的序列号，并为每台相机创建独立的配置和管道。这种方法不仅适用于D435i，也适用于RealSense系列的其他型号相机。