双向循环-注意力集成网络(Bidirectional Recurrent-Attention Integrator Network, BR-AIN)——一种用于糖尿病精确实时连续血糖监测的混合注意力机制

《Scientific African》:Bidirectional recurrent-attention integrator network — A hybrid attention mechanism for accurate real-time continuous blood glucose monitoring in diabetes

【字体: 大 中 小 】 时间:2026年03月19日 来源:Scientific African 3.7

编辑推荐:

  摘要:连续血糖监测(Continuous Glucose Monitoring, CGM)在糖尿病管理中具有关键作用,要求具备精确且实时的预测能力。本研究提出双向循环-注意力集成网络(Bidirectional Recurrent-Attention Inte

  
摘要:连续血糖监测(Continuous Glucose Monitoring, CGM)在糖尿病管理中具有关键作用,要求具备精确且实时的预测能力。本研究提出双向循环-注意力集成网络(Bidirectional Recurrent-Attention Integrator Network, BR-AIN),一种基于混合注意力机制的框架,利用多头注意力(multi-head attention)与分层编码机制以提升血糖水平预测的准确度与稳定性。研究人员在多名患者的数据集上评估所提BR-AIN模型,使用均方根误差(Root Mean Square Error, RMSE)、平均绝对误差(Mean Absolute Error, MAE)及平均绝对百分比误差(Mean Absolute Percentage Error, MAPE)等关键性能指标,于多个预测时域(forecast horizons)(15、30、45及60 min)进行评价。与双向长短期记忆网络(Bidirectional Long Short-Term Memory, BiLSTM)、普通长短期记忆网络(Long Short-Term Memory, LSTM)及独立N-BEATS模型等基准模型进行对比分析表明,该混合注意力方法始终获得更低的预测误差及更强的鲁棒性,尤其在较长预测时域下表现突出。误差热力图、绝对误差分布箱线图及滚动RMSE趋势等可视化分析进一步佐证模型在捕捉短期波动与长期稳定性方面的优越性能。研究人员使用克拉克误差栅格分析(Clarke Error Grid Analysis, CEGA)将预测结果划分为A–E区以验证临床适用性,结果显示BR-AIN生成的预测具有临床安全性——各预测时域下超过95%的预测值落于临床可接受Zone A与Zone B内。30 min预测时域下RMSE与MAPE的Wilcoxon符号秩检验证实,BR-AIN较基线模型LSTM、BiLSTM及N-BEATS取得统计学显著更低的RMSE与MAPE(p<0.05)。上述发现凸显混合注意力机制作为糖尿病治疗中实现连续实时血糖监测之可靠且可扩展工具的应用潜力。
论文解读:《Bidirectional Recurrent-Attention Integrator Network — A Hybrid Attention Mechanism for Accurate Real-Time Continuous Blood Glucose Monitoring in Diabetes》(发表于Scientific African)
一、研究背景与意义
糖尿病是由胰岛素分泌缺陷导致的慢性代谢性疾病,全球患病人数持续增长,血糖控制不当可引发心血管病变、神经病变及视网膜病变等严重并发症。连续血糖监测(Continuous Glucose Monitoring, CGM)可提供实时血糖信息,辅助患者与医护人员制定胰岛素治疗及生活方式干预决策。传统血糖预测多采用线性模型,近年机器学习与深度学习为提升预测精度提供了新方向,其中双向循环神经网络(Bidirectional Recurrent Neural Network, BiRNN/BiRNNs)能双向捕捉时序依赖,Transformer架构通过自注意力(self-attention)机制可捕获长程依赖与上下文信息,二者结合具应用前景。然而现有CGM预测仍面临个体间血糖测量差异大、个体生理反应与生活方式异质性强、预测精度不足等问题,且多数混合模型采用简单串行堆叠或静态拼接,未能动态融合局部时序记忆与全局自注意力上下文。为此,Nyirimana等人开展本研究,提出双向循环–注意力集成网络(Bidirectional Recurrent-Attention Integrator Network, BR-AIN),在OhioT1DM数据集上进行个性化建模与多时域预测,经与基准模型比较、消融实验、克拉克误差栅格分析(Clarke Error Grid Analysis, CEGA)及Wilcoxon符号秩检验验证其优越性,证明该混合注意力机制可用于临床可行的实时CGM系统,具有重要临床应用价值。
二、主要关键技术方法概述
研究人员采用OhioT1DM公开数据集,含2018年队列(患者ID 559、563、570、575、588、591,Basis Peak腕带+Medtronic 530G胰岛素泵)与2020年队列(患者ID 540、544、552、567、584、596,Empatica Embrace腕带+Medtronic 530G/630G泵)共12例1型糖尿病患者,特征含每5 min CGM血糖值、皮电反应(Galvanic Skin Response, GSR)、心率(Heart Rate, HR)、基础及餐时(bolus)胰岛素输注、碳水化合物摄入、睡眠质量、工作及运动强度。多速率传感器流对齐至5 min CGM时间轴,1 min生理信号取均值聚合,事件类映射至最近CGM读数,约11%缺失值用均值填补,连续特征Z-score标准化,按15/30/45/60 min窗口切片构建监督序列。BR-AIN架构并行设置BiRNN(通常为双向LSTM/BiLSTM)分支提取短时双向时序依赖,及Transformer编码器(3层、隐维128、4头多头注意力、前馈维512、正弦位置编码、因果掩码)捕获长程全局依赖,两分支输出通过可学习权重α·ht+β·zt加权融合并全局平均池化后接全连接层输出预测血糖值。采用逐患者(person-specific)训练与测试划分以防跨患者信息泄露,以均方误差(Mean Squared Error, MSE)为损失函数、Adam优化器训练,学习率全局预训练1.1×10-4、个性化微调5.0×10-5,批次16,早停。评估指标为RMSE、MAE、MAPE,辅以CEGA分区及Wilcoxon signed-rank test进行统计显著性检验,并与LSTM、BiLSTM、N-BEATS基准对照,另设RNN-only与Transformer-only消融实验。
三、研究结果
Dataset and evaluation / Data preprocessing
研究人员说明OhioT1DM数据集构成及各队列设备差异,详述20维特征来源(血糖、GSR、HR、基础/餐时胰岛素、碳水、睡眠评级、工作时长与强度、运动时长与强度、低血糖事件等)及预处理流程(多速率对齐、均值聚合、事件映射、~11%缺失值均值插补、Z-score标准化、按预测时域切片为序列→目标血糖监督学习问题)。
Model architecture of BR-AIN / Bidirectional Recurrent Neural Network (BiRNN) / Attention Transformer / Hybrid model integration / Architectural distinction from prior hybrid models
BR-AIN并行运行BiRNN与Transformer双分支。BiRNN按时间正反向分别计算隐藏态hforwardt与hbackwardt并拼接得ht∈RdBiRNN以捕获局部时序模式;Transformer通过Q、K、V自注意力(Attention(Q,K,V)=softmax(QKT/√dk)V)及多层编码输出zt∈RdTransformer以捕获全局长程依赖。混合隐态定义为hhybrid,t=α·ht+β·zt(α、β为可训练权重),经时间维度平均池化hpooled=(1/T)Σt=1Thhybrid,t后由全连接层输出?=σ(Wohpooled+bo)。与既往先Transformer后LSTM串行堆叠或固定权重拼接不同,BR-AIN采用并行自适应加权融合(integrator mechanism)并于池化前在特征级合并多模态传感器流,是本研究架构创新点。
Training and experimentation
采用逐患者个性化建模(每人单独训练测试),以MSE为损失函数Adam优化,评估RMSE与MAPE。模型超参数为:Transformer编码器层数L=3,dmodel=128,多头注意力头数H=4(头维32),前馈网络dff=512,ReLU激活,dropout=0.1,正弦固定位置编码,因果掩码;优化器Adam,全局学习率1.1×10-3,个性化微调5.0×10-5,批大小16,预训练与微调各5轮,ReduceLROnPlateau调度(patience=1,factor=0.5)。
Experimental results → Error landscape and prediction quality
实测vs预测血糖轨迹显示BR-AIN能跟踪各患者快速血糖波动,预测与真实值吻合良好;RMSE与MAPE热力图呈随预测时域延长误差增大之梯度,但60 min时仍处可接受范围,短时时域色温偏低(误差小);绝对误差箱线图示跨患者误差方差较小,证模型具低变异性与泛化能力。
Experimental results → Comparison with other models
30 min时域BR-AIN平均RMSE与MAE最低(如患者559:BR-AIN RMSE 14.23/MAE 9.22 vs BiLSTM RMSE 25.98/MAE 19.40 vs N-BEATS Advanced RMSE 43.75/MAE 32.76),60 min时域BR-AIN亦在11/12患者中RMSE与MAE最优(如患者559:BR-AIN RMSE 26.52/MAE 17.27 vs BiLSTM RMSE 46.13/MAE 34.09),仅个别患者某基准略优但不影响整体优势。
Experimental results → Ablation study on branch contributions
RNN-only(15 min RMSE/MAE 12.36/9.84;60 min 26.29/21.15)、Transformer-only(15 min 12.18/9.73;60 min 25.77/20.63)单独性能尚可,全BR-AIN(15 min 10.94/8.58;60 min 23.96/18.72)显著优于两分支单独运行,证实可训练加权融合双分支可提升精度,且Transformer分支在长时域略优符合理论预期。
Experimental results → Clinical evaluation with Clarke Error Grid Analysis (CEGA)
CEGA结果显示:15 min Zone A 96.71±1.25%,A+B 99.40±0.41%;30 min Zone A 89.58±4.25%,A+B 98.65±0.92%;45 min Zone A 80.98±7.16%,A+B 96.04±1.85%;60 min Zone A 76.34±7.79%,A+B 95.60±2.95%。各时域A+B均>95%,说明预测具临床安全性。
Experimental results → Statistical significance test- Wilcoxon signed-rank test
30 min时域Wilcoxon检验:BR-AIN vs BiLSTM RMSE(W=12,p=0.0342)、vs LSTM(W=0,p=0.0005)、vs N-BEATS(W=0,p=0.0005);MAPE比较vs BiLSTM(p=0.0068)、vs LSTM(p=0.0005)、vs N-BEATS(p=0.0010),均p<0.05,表明BR-AIN RMSE与MAPE显著低于所有基线模型。
Experimental results → Inference time analysis
平均推理时延:15 min 9.65 ms/样本(占CGM采样间隔0.0032%)、30 min 23.22 ms(0.0077%)、45 min 32.45 ms(0.0108%)、60 min 49.07 ms(0.0164%),远低于5 min(300,000 ms)CGM采样周期,满足实时性要求。
四、讨论与结论总结
讨论部分指出,BR-AIN在全部预测时域(15–60 min)上RMSE与MAPE均低于BiLSTM、LSTM及N-BEATS,得益于BiRNN保留局部时序记忆与Transformer捕获长程依赖之互补,且融合生活方式与生理多模态数据(进餐、运动强度、睡眠、压力等)增强个性化建模。模型对超参数(学习率0.0007–0.0015)具鲁棒性,CEGA证实临床安全(Wilcoxon检验证统计学显著优势),推理延迟满足实时CGM要求,优于文献报道之单一RNN或纯Transformer方案。
结论(翻译): 本研究提出一种用于实时连续血糖预测的基于混合注意力的深度学习框架(BR-AIN),并与双向LSTM(BiLSTM)、普通LSTM及独立N-BEATS三种基准架构进行比较。该混合模型融合时序编码与注意力机制以增强对血糖波动相关动态生理模式的捕捉能力。在多个预测时域(15、30、45及60 min)及多名患者画像上的综合评估表明,混合模型在RMSE与MAE方面持续优于基准模型,尤其在较长预测时域下。误差热力图、绝对误差箱线图及滚动RMSE趋势等可视化进一步确认该混合方法具更优泛化能力与更低误差变异性。这些结果表明混合注意力机制为提升CGM系统预测性能提供了有前景的方向。未来工作将致力于扩展模型以纳入实时数据流及个体化患者特征以实现个性化预测,此外模型可解释性与部署效率的进一步研究对于将该成果转化为实用临床决策支持工具至关重要。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号