超越摄像头的表皮传感器平台:面向智能面部表情识别(FER)与交互式人体监测的多机制架构

《Advanced Intelligent Systems》:Beyond the Camera: Epidermal Sensor Platforms for Intelligent Facial Expression Recognition and Interactive Human Monitoring

【字体: 大 中 小 】 时间:2026年10月21日 来源:Advanced Intelligent Systems 6.7

编辑推荐:

  基于摄像头的计算机视觉仍是面部表情识别(FER)的主导方法,但其性能依赖于受控条件,包括稳定照明、无遮挡视野和固定相机角度,而连续记录会引发隐私顾虑。柔软、可贴合皮肤的传感器通过机械变形或生物电势信号直接检测面部肌肉活动,提供了替代方案。本综述将近期表皮FER

  
基于摄像头的计算机视觉仍是面部表情识别(FER)的主导方法,但其性能依赖于受控条件,包括稳定照明、无遮挡视野和固定相机角度,而连续记录会引发隐私顾虑。柔软、可贴合皮肤的传感器通过机械变形或生物电势信号直接检测面部肌肉活动,提供了替代方案。本综述将近期表皮FER硬件归纳为四类传感机制:压阻式、电容式、电生理式和自供电式传感。多模态系统被视为整合两种或两种以上机制的互补架构。研究人员考察纳米结构与器件设计如何应对关键权衡,包括应变传感器中的可拉伸性与导电性、电容式传感器中的灵敏度与线性范围,以及自供电换能器中的功率自主性与信号保真度。研究人员还综述了其在面部表情与情绪识别、虚拟形象与机器人控制,以及生理与交通安全监测中的应用。尽管多模态与自供电系统已提升识别性能,但实际部署仍受跨用户泛化能力差、长期不稳定性和缺乏标准化基准数据集所限制。未来进展将需要更稳定的材料、轻量化的设备端算法,以及能够适应用户个体的学习策略。
1 引言
传统面部表情识别(FER)主要依赖摄像头与计算机视觉,在实验室受控条件下可获得较高准确率,但在光照变化、遮挡、视角偏移和移动受限等真实场景中性能显著下降,且连续面部记录带来隐私问题。柔软、可贴合皮肤的表皮接口因可直接读取面部肌肉活动或生物电势信号,并易于集成到口罩、耳机、面片和帽子等可穿戴形态中,成为非视觉连续情感监测的重要方向。早期器件多依赖单一传感模态,信号易受噪声影响且生理信息有限,因此本综述聚焦从单通道设计向多机制集成架构的转变,并按压阻式、电容式、电生理式和自供电式四类机制组织文献,同时讨论多模态异构传感与应用拓展。

2 传感机制
表皮FER硬件通过不同转导原理将面部微小运动、生物电势或生理变化转换为电学或光学信号。机械式传感器(压阻式和电容式)监测面部组织形变,电生理式接口直接截获神经肌肉信号,自供电设计采集机械或热能使转导阶段摆脱电池依赖,多模态系统则整合两种或以上机制以降低串扰并丰富信息维度。材料配方与器件纳米结构设计的目标,是在信号保真度与长期可穿戴性之间取得平衡。

2.1 压阻式
压阻式传感器通过机械变形引起的电阻变化追踪面部运动,结构简单、信号处理直接。非挥发性离子凝胶基体常用于维持基线导电性并防止长期佩戴脱水;纳米结构导电网络可提高对微表情的灵敏度,其他导电纳米材料网络多用于宏观表情追踪。该模态的关键限制在于柔性聚合物基体的粘弹性行为,会引入信号迟滞和长期基线漂移。相关研究分别采用离子/电子耦合导电网、金纳米颗粒(AuNPs)层间隧穿、聚乙烯醇(PVA)/聚苯胺(PANI)网络的可逆破坏,以及MXene/纤维素纳米纤维(CNF)/壳聚糖(CS)层状“砖- mortar”结构,展示了离子导电、纳米颗粒隧穿、聚合物网络解离和二维/一维层间压缩等不同压阻响应路径,并围绕灵敏度—稳定性权衡展开优化。

2.2 电容式
电容式传感器以压力下电容变化检测状态,具有低迟滞和低功耗优势。利用离子液体—电极界面的双电层(EDL)电容,可将电荷分离尺度降至纳米级并放大小压缩响应;仿生纳米结构电介质可降低压缩模量,提高对细微面部变化的检测能力。实际部署仍受环境寄生电容和全身运动伪影影响。相关研究通过电压诱导离子分层、微棱镜离子凝胶、PVA/H3PO4半球阵列几何调控,以及多孔多壁碳纳米管(MWCNTs)/炭黑(CB)/钛酸钡(BT)-聚二甲基硅氧烷(PDMS)介电层设计,分别提升灵敏度、线性范围和检测阈值,并尝试解耦灵敏度与线性范围之间的固有矛盾。

2.3 电生理接口
电生理接口依靠表面肌电(sEMG)直接捕捉肌肉膜去极化波,而非从皮肤形变间接推断情绪状态。超薄、免胶的表皮电子纹身和高可拉伸干电极阵列可共形贴附于关键面部动作单元,且不施加干扰自然表情的机械负载。sEMG可在实际形变前数毫秒捕捉神经“意图”,在实时人机交互中具有延迟优势;但汗液会快速改变局部皮肤阻抗并引入基线扰动,需要复杂滤波。相关研究涵盖超薄Au/Cr/PET微电极阵列、多模态生理数据集Emognition,以及集成于虚拟现实(VR)头显的干电极sEMG面罩,分别用于离散表情分类、多模态情绪数据采集和维度效价—唤醒建模。

2.4 自供电
自供电指器件在转导阶段产生或采集自身能量以完成传感,并不必然意味着整个系统无需电池;信号采集、放大、无线传输、处理和推理仍可能需要外部供电。相关设计利用摩擦电、热电、压离子等机制,将面部运动、温度梯度或离子迁移直接转换为电信号。摩擦电水凝胶传感器、双向摩擦电 facial-strain/vocal-vibration 传感器、聚(乙烯醇)-结冷胶-甘油(PGG)热伏水凝胶和碳纳米管(CNT)/石墨烯压离子传感器等,分别展示了接触—分离起电、双向应变耦合起电、热梯度和离子—力耦合转导路径。其共同优势是降低电池与电源管理负担,但输出稳定性、长期机械疲劳和温度差依赖仍是限制。

2.5 多模态
多模态并非独立转导机制,而是整合多种传感模态的策略,可通过单一转导原理或多种互补机制实现。通过层叠或空间集成互补传感单元,平台可解耦不同生理信号、降低串扰并丰富信息量,从而规避摄像头FER的光照、背景、遮挡和隐私弱点。相关研究包括电容—电生理三维堆叠的双模态传感器(CEDS),以及集成双轴应变、温度、湿度和光电容积脉搏波(PPG)的柔性印刷电路板(FPCB)平台。前者通过结构耦合丰富特征空间,后者通过结构/材料解耦抑制通道间干扰;两者均表明机械与生理正交信号的融合可提升表情与情绪识别准确性,但同步、微无线功耗和算法复杂度仍待解决。

3 应用
表皮传感平台的应用可归纳为面部表情与情感/情绪识别、人机接口(HMI)/虚拟形象与机器人控制/手势运动识别,以及生理/临床健康监测与多模态安全监测。三类应用并非互斥,同一硬件常通过改变下游机器学习任务实现跨场景复用。

3.1 面部表情与情感/情绪识别
该方向最直接地利用皮肤共形硬件对表情形变和生物电势的敏感性。FER识别可见面部运动,情绪识别则旨在推断 underlying affective state;刻意摆出的表情不一定反映真实情绪,因此综述区分表情分类与情绪识别。摄像头FER在真实场景中因光照、头姿和受试者差异而性能骤降,表皮传感则从源头采集肌肉激活,成为隐私保护型连续情感监测的补充路径。早期单通道系统验证了眼镜式近距传感和sEMG的可行性;近期多模态、自供电和个性化平台通过硬件级融合、摩擦电/热伏自供能及多通道解耦提升准确率,但跨用户泛化仍是主要瓶颈,跨用户验证中的性能下降凸显年龄、性别和文化差异的影响,Emognition等共享数据集有望支持多模态模型训练与验证。

3.2 人机接口、虚拟形象/机器人控制与手势/运动识别
该方向要求解码在闭环中实时运行,以驱动虚拟形象、机器人或通信接口。高规一化因子或高带宽转导与轻量低延迟分类器更受青睐。相关演示包括软表皮sEMG驱动虚拟形象实时镜像表情、电容—电生理传感器用于肌电机器人手控制、AuNPs/PAH高规一化因子传感器驱动VR虚拟眼球与微表情、离子凝胶电子皮肤用于社交触觉手势识别并验证于机器狗和人形机器人,以及融合惯性传感与sEMG的美国手语(ASL)翻译系统和基于水凝胶超级电容器的Morse码医疗护理通信系统。整体上,该领域仍多为单器件、小队列概念验证,缺乏标准化跨受试者手势基准。

3.3 生理/临床健康监测与多模态安全监测
该方向侧重生命体征、生物力学恢复和危险生理状态的连续追踪。相关平台覆盖热伏面部贴片在表情识别同时进行健康监测、MXene/热致变色薄膜解耦压力与温度并解析脉搏、呼吸和骨折愈合进程、压离子传感器在超过20000次弯曲循环后用于羽毛球挥拍姿态反馈,以及融合多源情绪诱发与同步多模态驾驶员数据研究自动驾驶接管准备度、反应时间和接管质量。该领域的统一挑战是将短时实验室验证转化为长期、临床或操作可信的连续监测,需要更大规模、更多样化的验证队列和耦合真实结局的数据集。

4 未来展望
综述指出, wearable FER已从早期单模态近距或sEMG传感器发展到跨压阻、电容、电生理和自供电机制的材料工程平台,其进步核心在于通过纳米结构、网络架构和界面化学解决机制特定权衡,而非单纯追求灵敏度。多模态与异构集成在分类准确性和生理语境丰富度上持续优于单模态基线。实际部署仍受三方面限制:跨受试者与跨会话鲁棒性不足,长期信号稳定性受汗液阻抗漂移、粘弹性迟滞和脱水影响,以及缺乏标准化基准、开放数据集和统一报告规范。未来需在材料稳定性、自供电转导、端侧低延迟推理和个性化学习策略方面协同推进,并通过共享基准数据集、统一标注规则、统一预处理与评价指标、版本化公共数据仓库和促进数据共享等措施改善跨用户鲁棒性。情感、运动和生理传感有望在同一平台内融合,将面部表情视为连续生理与行为监测中的一个通道。

5 结论
本综述沿压阻式、电容式、电生理式和自供电式机制梳理了可穿戴FER的发展。各类别的增益主要来自对纳米结构、网络架构和界面化学的主动工程化,以管理可拉伸性与导电性、灵敏度与线性范围、功率自主性与信号保真度之间的权衡。多模态与异构集成无论结构耦合还是空间分布,均可靠优于单模态传感,并将应用从情感识别拓展至实时HMI和安全监测。真实世界转化仍受跨受试者/跨会话鲁棒性弱、汗液与机械疲劳下信号不稳定以及标准化多样基准缺乏的限制,需要材料科学、边缘计算算法和个性化学习策略的协同进展。随着这些方向汇合,皮肤集成多模态面部传感有望从孤立表情分类走向连续、个性化的情感与生理监测平台。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号