【亲测免费】 pyVHR：开源的远程光电容积脉搏波（rPPG）分析框架

项目介绍

pyVHR（Python框架的虚拟心率）是一个全面的框架，用于研究基于视频的脉搏率估算方法，也称为远程光电容积脉搏波（rPPG）。该项目提供了一个结构化的管道，用于监控rPPG算法的输入、输出和主要控制参数，支持多种数据集的使用，并提供稳健的统计性能评估。

项目技术分析

pyVHR的核心技术包括：

• 分析导向：提供了一个系统化的端到端管道，允许用户轻松设置参数和元参数，评估不同的rPPG算法。
• 开放性：包含方法和数据集工厂，方便用户扩展评估元素，支持新开发的rPPG方法和各种视频数据集。
• 稳健评估：结果以结构化数据形式呈现，便于深入分析。性能比较基于稳健的非参数统计测试。

框架中实现了九种经典的rPPG方法（如ICA、PCA、GREEN等）以及基于深度学习的MTTS-CAN模型。此外，pyVHR还提供了处理11个公开视频数据集的API，如PURE、LGI-PPGI-DB等。

项目及技术应用场景

pyVHR适用于以下应用场景：

• 医学研究：用于非接触式心率监测和生理信号分析。
• 健康监测：在远程医疗和可穿戴设备中，用于实时监测用户的心率。
• 人机交互：在虚拟现实和增强现实中，用于用户情绪和生理状态的实时反馈。
• 运动科学：用于运动员的心率监测和训练效果评估。

项目特点

• 多方法支持：集成了多种经典的rPPG方法和最新的深度学习模型，满足不同需求。
• 多数据集兼容：支持处理多种公开的视频数据集，便于算法验证和比较。
• 统计分析：提供强大的统计分析API，便于用户进行深入的性能评估和比较。
• 易于扩展：开放的方法和数据集工厂设计，方便用户添加新的算法和数据集。

快速开始

依赖安装

推荐使用miniconda进行安装，创建一个新的conda环境并自动获取所有依赖：

conda env create --file https://raw.githubusercontent.com/phuselab/pyVHR/master/pyVHR_env.yml

安装pyVHR

进入新创建的conda环境并安装pyVHR：

conda activate pyvhr
(pyvhr) pip install pyvhr

基本使用

以下代码展示了如何对单个视频进行BPM估计：

from pyVHR.analysis.pipeline import Pipeline
from pyVHR.plot.visualize import *
from pyVHR.utils.errors import getErrors, printErrors, displayErrors

# 参数设置
wsize = 6                  # 窗口大小（秒）
roi_approach = 'patches'   # 'holistic' 或 'patches'
bpm_est = 'clustering'     # BPM最终估计，如果使用patches，选择'medians'或'clustering'
method = 'cpu_CHROM'       # pyVHR中实现的方法之一

# 运行
pipe = Pipeline()          # 执行管道的对象
bvps, timesES, bpmES = pipe.run_on_video(videoFileName,
                                        winsize=wsize, 
                                        roi_method='convexhull',
                                        roi_approach=roi_approach,
                                        method=method,
                                        estimate=bpm_est,
                                        patch_size=0, 
                                        RGB_LOW_HIGH_TH=(5,230),
                                        Skin_LOW_HIGH_TH=(5,230),
                                        pre_filt=True,
                                        post_filt=True,
                                        cuda=True, 
                                        verb=True)

# 错误分析
RMSE, MAE, MAX, PCC, CCC, SNR = getErrors(bvps, fps, bpmES, bpmGT, timesES, timesGT)
printErrors(RMSE, MAE, MAX, PCC, CCC, SNR)
displayErrors(bpmES, bpmGT, timesES, timesGT)

文档与开发

完整的pyVHR框架文档可在这里找到。对于开发者，可以通过以下命令获取最新的开发版本：

git clone [e-mail]:phuselab/pyVHR.git
cd pyVHR/
python setup.py install

pyVHR是一个功能强大且易于扩展的rPPG分析框架，适用于多种应用场景。无论你是医学研究者、开发者还是健康监测爱好者，pyVHR都能为你提供强大的工具支持。