基于观测POS波形的两阶段生成式波形精炼框架PulsePath:面向鲁棒远程光电容积描记估计的条件流匹配与残差扩散

《Sensors》:PulsePath: Two-Stage Generative Waveform Refinement for Robust Remote Photoplethysmography Estimation

【字体: 大 中 小 】 时间:2026年09月27日 来源:Sensors 4.0

编辑推荐:

  远程光电容积描记(rPPG)通过面部视频估计脉搏信号,但运动、光照变化、曝光控制和压缩等因素会扭曲用于心率(HR)估计的波形。平面正交于皮肤(POS)波形提供了一种可观测的生理信号源,其往往保留了特定于录制的周期结构。现有方法通常直接回归完整波形,或从随机状态

  
远程光电容积描记(rPPG)通过面部视频估计脉搏信号,但运动、光照变化、曝光控制和压缩等因素会扭曲用于心率(HR)估计的波形。平面正交于皮肤(POS)波形提供了一种可观测的生理信号源,其往往保留了特定于录制的周期结构。现有方法通常直接回归完整波形,或从随机状态出发进行重建,而未将该信号源作为起点。研究人员提出PulsePath,一种两阶段框架,将POS波形向配对接触式光电容积描记(PPG)传输,并仅对确定性推断之后剩余的残差进行建模。阶段A利用六通道多尺度时空图(MSTMap)和25通道录制级频率表示,执行从POS出发的条件流匹配(FM)。阶段B固定确定性FM估计,并利用方差保持(VP)残差扩散和速度预测重建其剩余误差。在数据集内测试中,PulsePath在PURE数据集上取得平均绝对误差(MAE)、均方根误差(RMSE)和Pearson相关系数分别为,在UBFC-rPPG数据集上分别为。在跨数据集测试中,当在UBFC-rPPG上训练并在PURE上测试时,PulsePath取得MAE/RMSE为;当在PURE上训练并在UBFC-rPPG上测试时,取得。附加分析显示了协议相关的组件效应和训练运行变异性;所报告的HR结果并未确立波形保真度。

论文解读文章

一、研究背景与问题

远程光电容积描记(rPPG)技术旨在从面部视频中估计心血管活动,包括心率(HR),其原理基于脉搏引起面部肤色变化的微弱信号。由于无需接触式传感器,rPPG在远程监测和基于摄像头的生理感知领域具有重要应用价值。然而,与头部运动、光照变化、曝光控制和压缩伪影相比,生理性肤色变化极为微弱。这些干扰因素虽然可能保留主导的HR频率,但会破坏波形的振幅、相位和局部时间结构。因此,如何从受干扰的视频信号中稳健地恢复脉搏波形,成为rPPG估计的核心挑战。
经典的颜色投影方法,如平面正交于皮肤(POS)方法,将归一化RGB迹线投影到与肤色方向正交的平面上,提供了一种无需训练的确定性波形提取手段。POS波形虽然对运动、光照和相机噪声敏感,但往往保留了特定于观测录制的周期性和粗略时间组织,可作为后续精炼的有效起点。然而,现有学习方法通常直接将视频表示映射到完整目标信号,未在预测路径中暴露可解释的源波形;生成式方法虽然能够建模波形分布,但往往从随机噪声状态出发重建完整目标波形,未将确定性传输与残差随机建模相结合。这种分离的缺失促使研究人员提出一种将源波形传输与残差精炼相分解的新框架。

二、研究内容与主要技术方法

研究人员提出PulsePath,一种两阶段生成式波形精炼框架。阶段A以观测POS波形替代生成式流匹配(FM)中常用的简单噪声源,学习从POS到配对接触式PPG的有向传输。阶段B固定阶段A的确定性FM估计,仅对FM估计与接触式PPG之间的残差进行扩散建模。
关键技术方法包括以下方面。第一,共享生理表示:将每段录制划分为N个时间有序块,每个块包含300个样本(对应30帧/秒下的10秒)。POS波形通过48帧窗口、单帧跳跃在完整录制上提取,经平滑先验去趋势和0.6–3.3 Hz二阶巴特沃斯带通滤波处理。多尺度时空图(MSTMap)包含六个通道,即RGB、亮度Y和色度U、V,作为区域级颜色证据。频率条件包含25个通道,由八个重建子带信号、十六个离散余弦系数和置信度通道构成,提供录制级频率上下文。第二,阶段A的FM传输:沿POS到接触式PPG的直线路径定义波形状态,采用时间加权损失,并利用分类器无关引导(classifier-free guidance)进行两次欧拉更新得到确定性FM估计。第三,阶段B的残差扩散:以FM估计为固定条件,采用方差保持(VP)扩散过程和速度参数化,使用最小信噪比(Min-SNR)加权训练残差速度预测器。第四,无目标标签推断:生成十个残差校正候选波形,结合未修改的FM估计,通过录制级谱一致性评分选择最终输出。
数据集来源方面,研究使用公开的PURE和UBFC-rPPG数据集,采用受试者不相交的训练、验证和测试划分。所有实验在单块NVIDIA GeForce RTX 4090 GPU上完成。

三、研究结果

3.1 数据集内测试。 在PURE数据集上,PulsePath取得最低的MAE和RMSE值,Pearson相关系数与表中最高值持平,表明所提出的波形精炼框架在PURE上保持了强数据集内HR精度。在UBFC-rPPG数据集上,PulsePath的MAE为表中第二低,RMSE与Contrast-Phys+相当,Pearson相关系数与表中最高值持平,整体性能具有竞争力。
3.2 跨数据集测试。 在UBFC-rPPG→PURE方向,PulsePath取得所列方法中最低的MAE和RMSE,但需注意评估协议的差异。在PURE→UBFC-rPPG方向,PulsePath的MAE和RMSE与所列方法保持竞争力。附加的三种子评估显示PURE→UBFC-rPPG方向的训练运行变异性较大。
3.3 附加分析。 条件消融实验表明,同时移除MSTMap和频率两条辅助通路在两个数据集上均增加了HR MAE;单独移除MSTMap条件呈现数据集相关效应;单独移除频率条件在聚合HR MAE上无变化。PURE数据集内各采集条件下的最终输出HR MAE均低于0.9 bpm。训练种子标准差量化了固定测试受试者上的运行间变异性,并非受试者级置信区间。对阶段A、单个残差校正输出、样本均值波形和所提出的选择输出进行比较,未发现任何策略在所有协议上一致取得最低HR MAE。

四、讨论与结论

讨论部分指出,当前评估仅衡量录制级HR精度,并未确立对详细PPG形态或单次心跳时序的准确恢复。条件消融显示协议相关的组件效应;PURE条件特定分析局限于该数据集所代表的采集条件,实验未覆盖实践中遇到的全部相机、光照条件、肤色和运动模式。生成十个残差假设并执行十步DDIM采样引入了额外推断成本。谱一致性选择器可能偏向稳定的周期信号,录制内HR变异性的保持仍有待评估。潜在失效模式包括剧烈运动、光照不良、面部跟踪误差和低质量或压缩视频,但这些是预期限制而非实验验证的失效类别。参与者多样性和肤色特定性能未单独评估。
研究结论为:PulsePath在数据集内测试中于PURE上取得MAE为、RMSE为、Pearson相关系数为;于UBFC-rPPG上取得MAE为、RMSE为、Pearson相关系数为。在UBFC-rPPG→PURE方向取得MAE为、RMSE为;在PURE→UBFC-rPPG方向取得MAE为、RMSE为。这些结果表明在所报告的协议下具有竞争力的录制级HR性能,附加分析显示协议相关的组件效应和训练运行变异性。未来工作将考察更高效的残差采样、更广泛的采集条件以及额外的波形质量度量。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号