《Scientific Reports》:From sleep staging to spindle detection: a case study on end-to-end automated sleep analysis
编辑推荐:
睡眠分析自动化涵盖宏观结构(睡眠分期)与微观结构(如睡眠纺锤波)元素,有望实现大规模睡眠研究并降低评分者间不一致性带来的变异。尽管睡眠分期与纺锤波检测等单个步骤已被分别研究,但多步骤睡眠分析自动化的可行性尚不明确。本个案研究评估了使用经验证的机器学习模型——用
睡眠分析自动化涵盖宏观结构(睡眠分期)与微观结构(如睡眠纺锤波)元素,有望实现大规模睡眠研究并降低评分者间不一致性带来的变异。尽管睡眠分期与纺锤波检测等单个步骤已被分别研究,但多步骤睡眠分析自动化的可行性尚不明确。本个案研究评估了使用经验证的机器学习模型——用于睡眠分期的RobustSleepNet(RSN)及随后的纺锤波检测模型SUMOv2——进行全自动分析,能否复现一项关于双相情感障碍的专家研究中的发现。自动化分析在质量上重现了专家研究的关键发现,包括双相情感障碍患者与健康对照之间快纺锤波密度的显著差异,将以往需数月手动完成的工作在数分钟内完成。尽管自动化分析结果与专家研究在数量上存在差异,可能源于专家评分者之间或评分者与模型之间的偏倚,但两个模型在睡眠分期和纺锤波检测上的单独表现均达到或超过评分者间一致性水平。研究结果表明,全自动方法具有促进大规模睡眠研究的潜力。研究人员公开提供了自动化分析所用工具的代码访问权限,并推出了SomnoBot——一个保护隐私的睡眠分析平台。
研究背景与问题:睡眠脑电图(EEG)分析的自动化有望实现以往难以实现的可扩展且具有成本效益的研究,从而为理解睡眠与多种疾病(如情感障碍)的相互作用创造新机遇。近几十年来,睡眠分析自动化在多个方面取得显著进展,涵盖睡眠宏观结构表征(涉及睡眠分期检测)及EEG图型元素识别(睡眠微观结构),如睡眠纺锤波、K-复合波或快速眼球运动,这些元素反映了睡眠期间大脑中发生的更精细时间尺度上的复杂过程。早期自动化方法依赖于定义特征(如频带功率)来指示特定睡眠阶段或睡眠纺锤波,而近期方法主要利用深度神经网络模型自动学习鉴别性特征以达到最先进的检测性能。
然而,模型性能评估面临挑战,因为睡眠标注需要与已知存在评分者间变异(inter-rater variability)和评分者内变异(intra-rater variability)的专家标注进行比较。评分者间变异可能源于主观偏倚或实验室与临床中的不同实践,尽管专家遵循美国睡眠医学会(AASM)评分规则或Rechtschaffen和Kales(R&K)标准等标注指南。鉴于此,一种评估策略是将模型与专家共识标注进行比较,训练模型模拟共识已被证明可产生与个体专家评分者和共识相当甚至更优的标注结果。另一种方法是比较模型-专家一致性与专家配对之间的一致性分布。若模型-专家一致性接近或优于专家评分者配对间的平均评分者间一致性,则模型性能可被视为稳健且与专家相当。
尽管单个睡眠分析步骤的自动化已取得高准确率,但这些步骤被分别评估,多步骤睡眠分析端到端自动化的可行性及其输出是否足以检验科学假设甚至支持临床诊断仍不明确。此类分析需考虑各步骤间的相互依赖关系,例如纺锤波检测通常限制于特定睡眠阶段(如N2期及偶尔N3期非快速眼动睡眠),因此依赖于准确的睡眠分期检测。现有纺锤波检测模型通常在仅含生物合理纺锤波出现阶段的训练数据集上训练,若输入包含快速眼动睡眠或清醒期等阶段,模型常会在不应出现纺锤波的睡眠阶段错误检测到纺锤波。这一挑战贯穿于睡眠微观结构分析方法,凸显了对多步骤睡眠分析进行端到端评估的必要性。
研究目的与结论:本研究作为一项个案研究,旨在探讨使用经验证的深度学习模型进行端到端自动化睡眠分析及后续纺锤波检测,能否复现先前由专家评分者手动标注的研究中的发现。该先前研究比较了双相情感障碍(BD)患者与健康对照的纺锤波指标,且所用数据为睡眠分析模型未见过的数据,模拟了真实世界场景。除复现专家主导的发现外,研究人员在多专家标注的独立数据集上验证了自动化分析的每个步骤,以比较模型-专家一致性与评分者间一致性分布。研究发现表明,自动化多步骤分析能够在质量上重现双相情感障碍患者与健康对照之间纺锤波特征的关键差异和相似性,与原始专家主导研究一致。这些结果凸显了全自动分析复现专家主导分析的潜力,为可扩展、可重复的睡眠研究铺平道路。该研究发表在《Scientific Reports》。
关键技术方法:研究采用两个深度神经网络模型分别进行睡眠分期和纺锤波检测。睡眠分期使用RobustSleepNet(RSN)模型,该模型设计为对多导睡眠图(PSG)导联数量、类型或顺序具有不变性,基于MESA、MrOS、SHHS、DODO、DODH和MASS数据集的659例记录训练。纺锤波检测使用SUMOv2模型,该模型在公开可用的SUMO模型基础上改进,通过随机重缩放EEG幅度的数据增强方法增强对不同幅度分布的鲁棒性,基于MODA数据集训练(180例受试者的PSG记录,由47位专家标注纺锤波后形成共识标注)。研究使用双相情感障碍队列(25例健康对照和23例双相情感障碍患者的PSG记录,由单一专家按AASM指南标注)及公开数据集(IS-RC数据集:69例中年女性PSG记录,由6位专家标注;DREAMS数据集:8例病理睡眠患者的30分钟EEG片段,由2位专家标注)进行验证。评估指标采用宏F1分数(Macro F1)衡量睡眠分期一致性,交集 over 并集F1分数(IoU-F1)衡量纺锤波检测一致性。
研究结果:
睡眠分期性能:研究人员在双相情感障碍研究记录中使用RSN模型自动检测睡眠分期。计算每例记录的宏F1分数,结果为0.73±0.11(范围0.68-0.79)。为解释该分数,研究在IS-RC数据集上量化了评分者间一致性:专家配对平均宏F1分数为0.61±0.10(范围0.54-0.68),而RSN模型与IS-RC专家的一致性平均为0.67±0.09,显著高于专家配对(
p<0.001,独立样本单侧
t检验)。与多位专家共识标注相比,RSN模型表现更优。
睡眠纺锤波检测性能:研究人员使用SUMOv2模型检测睡眠纺锤波。在专家标注的N2期睡眠上评估时,SUMOv2在双相情感障碍记录中达到IoU-F1分数0.60;当睡眠分期由RSN模型自动检测时(完全自动化流程),IoU-F1分数略降至0.54。在DREAMS数据集上,与两位专家的一致性分别为0.53和0.76。在MODA测试数据集上,与个体专家的平均IoU-F1分数为0.72±0.08,高于专家配对平均的0.59±0.16;与MODA共识标注的一致性达0.83。
双相情感障碍与健康受试者的纺锤波特征:研究人员对双相情感障碍记录进行全自动分析,首先用RSN模型识别睡眠分期,随后在额叶和中央导联的N2期睡眠中用SUMOv2模型检测纺锤波。计算每个检测到的纺锤波的持续时间、主导频率和幅度,并分别确定快纺锤波(主导频率>13 Hz)和慢纺锤波(≤13 Hz)的平均特征和密度。观察到健康对照与双相情感障碍受试者之间快纺锤波密度存在显著差异,该差异在额叶和中央导联中一致:额叶导联中双相情感障碍患者为2.16次/分钟,健康对照为3.41次/分钟;中央导联中分别为2.79次/分钟和4.37次/分钟。未发现慢纺锤波密度或其他特征在两组间存在统计学显著差异。按导联位置分析时,快纺锤波在中央导联中密度和幅度高于额叶导联;慢纺锤波在双相情感障碍患者和健康对照的额叶导联中密度和幅度略高。纺锤波持续时间在各导联间保持稳定(0.82-0.88 s),平均频率在快纺锤波(13.88-13.98 Hz)和慢纺锤波(12.16-12.27 Hz)中均保持一致。
讨论总结:研究人员观察到,通过深度学习模型进行的自动化分析在质量上复现了Ritter等人关于双相情感障碍研究的关键发现,将以往需数月手动完成的工作在数分钟内完成。该方法发现了健康对照与双相情感障碍患者之间快纺锤波密度的显著差异,与先前研究一致,也与精神分裂症的观察结果相似。自动化分析显示的系统更高的纺锤波密度可能反映模型与专家之间的偏倚,但更可能是由于分析中使用的纺锤波聚合方法差异所致,这一点由模型在其他单通道EEG数据集上预测较低纺锤波密度的结果支持。自动化分析还复现了原始研究的第二个发现,即双相情感障碍患者的快纺锤波和慢纺锤波平均频率略低于健康对照,尽管趋势相似但统计显著性未达原始研究水平。
研究人员发现纺锤波持续时间、频率和幅度的绝对值与原始研究存在差异。检测到的纺锤波通常更短(不足0.9秒对比原始研究超过1秒),频率和幅度也有轻微变化。这些差异可归因于三个主要因素:幅度和频率计算方法的不同、已知的专家间纺锤波持续时间评估变异,以及潜在的数据集偏倚(SUMOv2模型在MODA数据集上训练,该数据集纺锤波通常更短)。
分析各步骤的模型-专家一致性,研究发现自动检测与专家标注睡眠阶段之间具有强一致性,与先前研究一致。RSN模型在双相情感障碍数据集上达到0.73的宏F1分数,与IS-RC数据集中专家配对的一致性水平相当。与专家配对相比,RSN与IS-RC专家的一致性显著更高。对于纺锤波检测,SUMOv2模型在双相情感障碍和DREAMS数据上达到高IoU-F1分数,表明其能在训练数据外的数据集中可靠识别纺锤波,这种能力在以往研究中很少被探究。当睡眠分期由专家提供时,SUMOv2在双相情感障碍数据集上IoU-F1达0.60;由RSN自动检测时略降至0.54。两种情况下的一致性均处于MODA数据集中专家配对一致性的范围内,并与文献中报告的典型一致性水平相当。在MODA测试数据上,SUMOv2的一致性显著高于专家配对间的一致性。
研究存在若干局限性:公开可获得的联合标注睡眠分期和纺锤波的数据集稀缺,限制了研究仅能复现一项先前发表的研究而非在多个数据集上验证;用于评估单个分析步骤的额外数据集规模和多样性有限,可能无法代表更广泛人群;分析未纳入EEG伪影的显式处理;研究聚焦于顺序分析而非联合优化的端到端建模,后者需要目前不公开可用的大规模联合标注数据集。
研究结论:本研究推进了自动化睡眠分析,展示了全自动睡眠分期和纺锤波检测可达到专家水平性能。为扩大自动化睡眠分析的可及性,研究人员公开了代码,发布了新型纺锤波检测模型SUMOv2,并推出了隐私保护睡眠分析工具SomnoBot,使研究人员无需编程专长即可使用分析方法。期望此类工作能够促进大规模、长期睡眠研究,为睡眠相关健康与疾病带来新见解。