《Electronics》:An Edge-Cloud Infrastructure for Scalable Personalization of AI Models in Community Health Care
编辑推荐:
现代物联网(Internet of Things, IoT)系统日益依赖部署在边缘设备与云基础设施上的机器学习/深度学习模型。然而,许多真实世界的IoT系统需要为每个用户或设备提供个性化模型,这使得可扩展的再训练、部署和实时推理面临挑战。为此,研究人员提出一种
现代物联网(Internet of Things, IoT)系统日益依赖部署在边缘设备与云基础设施上的机器学习/深度学习模型。然而,许多真实世界的IoT系统需要为每个用户或设备提供个性化模型,这使得可扩展的再训练、部署和实时推理面临挑战。为此,研究人员提出一种实用且低成本的边缘-云框架,用于在社区居住中心支持IoT系统中AI模型的并发个性化。该个性化通过一种数据高效的机器学习再训练模型(MODELXc)与分层软件架构相结合实现,该架构将边缘感知、通信、云处理和模型管理分离。首先,AI模型再训练任务以Kubernetes pods形式运行,并预配置CPU和内存限制,用户被分批分组以防止并发训练期间的资源过度订阅。其次,边缘设备通过使用二进制编码载荷的NATS.io请求-应答消息传递实现与云端的低延迟通信。第三,生命周期管道处理版本化模型存储、内存缓存和后台同步。研究人员使用两个IoT应用评估该框架:可穿戴跌倒检测系统和心率监测系统。第二个应用用于展示基础设施的跨应用可移植性。使用MODELXc个性化工作流,研究人员在一台40逻辑CPU服务器上一分钟内并发执行了40个用户特定训练任务。实验还证明,采用批处理策略,一台40 CPU服务器可在6–7小时时段内支持5000个虚拟用户的个性化。与传统的后台执行相比,基于Docker和Kubernetes的编排提供了有界的每任务资源使用,并产生可预测的系统负载。对于实时推理,采用二进制编码和受控节流的NATS.io实现了约110–120 ms的中位延迟,而默认非二进制编码约为220 ms。
**论文解读:面向社区医疗的可扩展AI模型个性化边缘-云基础设施**
**一、研究背景与问题**
随着物联网(IoT)设备能力的增强,其持续感知与实时预测能力被广泛应用于可穿戴系统和工业监测等场景。这类系统常依赖人工智能/机器学习模型分析传感器数据流,为安全关键和情境感知应用提供及时预测。然而,许多可穿戴系统需要针对每个用户或设备定制的个性化AI模型。一个全局模型往往无法涵盖人类行为、运动风格及运行环境的差异,尤其在可穿戴跌倒检测中,模型性能受个体运动方式、身体状况及佩戴方式影响显著。已有研究表明,个性化模型相比全局模型能降低误报率并提升检测可靠性。
在社区居住中心大规模部署个性化IoT应用面临重大基础设施挑战:每位用户需要一个基于特定数据周期性再训练的AI模型,且需保障用户数据隐私。随着用户增多,在中等配置服务器上逐一再训练模型在计算上变得不可行且难以管理。传统的顺序训练或在服务器后台执行的方式会浪费资源,并因部分资源过载而其他资源闲置导致系统性能不可预测。此外,许多个性化IoT AI模型需要满足严格响应时间约束的实时推理。当AI模型托管在低成本服务器或私有云上时,系统必须在边缘设备与云服务之间维持低延迟通信。REST式HTTPS通信虽然广泛支持且易于部署,但在高频IoT推理场景中,基于文本载荷的REST/HTTP会因HTTP头、连接管理及JSON序列化/反序列化引入每请求开销。先前协议对比研究显示,协议选择和载荷编码显著影响车辆到云及IoT通信系统的延迟与吞吐量。
个性化AI模型管理还需支持模型版本化、带隐私保护的反馈数据持久化存储、内存缓存、同步以及周期性重新部署更新模型。研究人员在SmartFall实验室对三位65岁以上老年人进行了为期三周的跌倒检测应用扩展用户研究。每周结束时,需处理收集的日常生活活动数据(尤其是误分类事件)以进行个性化,这需要多次访问用户住所来再训练和部署更新模型,耗时且难以扩展。
**二、研究目标与核心方案**
为解决上述挑战,论文提出一种低成本的边缘-云系统,用于在受控资源使用下实现IoT系统中AI模型的个性化。系统自动化了个性化流程,从边缘设备采集传感器数据到再训练、评估、部署,并实时服务于每位用户的模型。利用Docker容器化和Kubernetes编排,多个个性化模型再训练任务作为具有明确CPU和内存限制的隔离pod并发执行。批处理训练策略将用户分组为并行执行批次,从而在用户数量增长时实现可预测的资源利用。
仅靠编排无法在中等服务器上实现高并发,因为并行任务数仍取决于每个再训练任务的计算成本。若为每位用户从零开始用反馈数据独立再训练AI模型,每个pod需加载大型训练数据集并更新全部模型参数,即使采用高效编排,中等服务器上也仅能并发个性化有限数量的用户。为此,研究人员采用MODELXc,一种两阶段测试时适应方法,在每个再训练pod内实现AI模型个性化。MODELXc冻结共享的群体训练骨干网络,仅使用标记反馈数据训练两个轻量模块:对齐模块将用户嵌入映射到源特征分布,残差适配器调整骨干网络输出逻辑值。该设计降低了每个pod的CPU和内存需求,并允许系统为所有用户仅存储一个共享骨干网络,每位用户只需少量适配器权重。
框架还支持资源受限边缘设备与私有云推理服务器之间的实时、低延迟交互。研究人员评估了HTTPS、Kafka消息和NATS.io,结果显示NATS.io具有最低中位延迟和稳定性能。进一步通过二进制载荷编码和请求节流优化NATS.io消息,减少传输大小并稳定边缘设备的请求速率。
**三、主要关键技术方法**
研究采用以下主要方法:分层边缘-云架构,将边缘感知、通信、云处理和模型管理分离;边缘层支持设备端和服务器端推理,服务器端推理中边缘设备将传感器数据打包为固定大小滑动窗口,经自定义二进制格式编码后经NATS.io发送;云处理层采用Kubernetes编排的Docker容器执行MODELXc个性化再训练,每个pod预配置CPU和内存限制,并按资源感知批调度策略分批运行;模型管理层使用NoSQL数据库存储版本化模型工件,含共享骨干和每用户适配器,并支持内存缓存与后台同步。评估环境为Dell服务器,配置40逻辑CPU(2插槽,每插槽10物理核,每核2硬件线程)、250 GB内存和NVIDIA GeForce GTX 1080 GPU。实验中每位模拟用户对应一个独立的MODELXc个性化任务。
**四、研究结果**
**1. 个性化训练基础设施评估:** 通过对比传统后台进程执行与Docker容器化及Kubernetes编排配置,两者执行相同MODELXc个性化工作负载。结果显示,40个并发个性化任务均未超出40逻辑CPU服务器计算能力。传统后台执行下CPU利用率波动较大,而Kubernetes配置使每任务CPU利用率接近分配值,系统负载平均值约17–18,总CPU利用率约80%,低于后台执行时的约20和90%。单个MODELXc任务内存低于约1 GB,内存不构成限制。主要优势在于受控资源分配、进程隔离和可预测执行。
**2. 资源感知批训练容量:** 每个个性化任务约需1个CPU当量,内存低于约1 GB。为保留服务器资源给非训练服务,一个CPU当量被保留,剩余39 CPU当量用于个性化,故最多并发39个任务。一个39用户批次约需1分钟执行,加上保守的2分钟冷却间隔,批次周期约3分钟。按此计算,处理5000个虚拟用户需129个批次(128批×39人+最后8人),可在约6–7小时内完成。该结果验证了批量处理的可扩展性,同时保持并发资源上界。
**3. 社区规模部署与成本分析:** 基于实测资源画像,4 vCPU/8 GB配置可支持约3个并发任务,在6–7小时窗口内处理约400用户;8 vCPU/16 GB配置可在更短窗口内提供更多并发。云成本估算显示,社区规模个性化无需大型专用训练服务器,小型CPU实例足以支持数百用户。
**4. 通信框架评估:** 对比HTTPS、Kafka和NATS.io,NATS.io中位延迟约220 ms,低于HTTPS和Kafka的240–280 ms,且分布更窄、高延迟异常更少。Kafka需额外HTTP桥接或MQTT连接器增加开销,HTTPS存在连接管理和JSON开销。
**5. 轻量消息优化:** 自定义二进制格式SFN1将128样本加速度计窗口载荷从约5.5–6.5 KB缩减至约825字节,且不损失模型精度。二进制编码使中位延迟降至约130–140 ms,结合受控节流进一步降至110–120 ms,并提高响应一致性。
**6. MODELXc个性化效果:** 基于文献[11]的参与者级结果,MODELXc在所有十位参与者上的F1分数均高于未适应的全局基线,平均F1从约0.85提升至约0.91,证明其适合作为可扩展个性化基础设施的负载。
**7. 跨应用基础设施可重用性:** 原型心率监测应用使用NATS.io传输单维心率时间序列窗口,实现约100 ms中位延迟,且异常值更少。这显示核心基础设施(训练管道、批调度、通信优化、模型存储、缓存和同步)与具体应用无关,仅需修改传感器模态、预处理、AI模型架构和反馈标签等应用特定组件。
**五、讨论与结论**
研究结果表明,Docker和Kubernetes提供的主要优势不是减少计算量,而是在并发独立任务调度时实现受控资源分配、进程隔离和可预测执行。模型管理生命周期围绕共享骨干和轻量每用户适配器设计,版本化存储与缓存使大规模用户管理成为可能。NATS.io结合二进制编码和节流能显著降低延迟并提高稳定性。总体而言,论文证明了在中等服务器或私有云资源下,以社区规模部署和管理个性化IoT AI模型是可行的。主要贡献包括:实用分层边缘-云架构、MODELXc与容器编排的集成、资源感知批调度策略、通信优化方案,以及支持版本化存储和跨应用重用的模型生命周期管道。