基于不变输入驱动的连续吸引子的表征迁移用于快速领域适应

《Communications Biology》:Representation Transfer via Invariant Input-driven Continuous Attractors for Fast Domain Adaptation

【字体: 大 中 小 】 时间:2026年04月06日 来源:Communications Biology 5.1

编辑推荐:

  为应对端到端深度神经网络在领域偏移下性能下降、在嘈杂不可预测环境中部署成本高昂的问题,研究人员开展了一项关于“基于不变输入驱动的连续吸引子的表征迁移用于快速领域适应”的研究。他们提出了一种受生物大脑启发的模块化框架,将循环神经网络与输入驱动的连续吸引子相结合。该工作在学习稳健、可迁移特征的同时,将低维表征塑造成稳定而灵活的不变连续吸引子流形。验证于手势和康复动作识别任务,该框架取得了与先进方法相媲美的准确率,尤其在少样本设置下,且所需参数量和训练量低一个数量级。这为现实世界信息处理中实现鲁棒、持续适应提供了可行路径。

  
在人工智能(AI)快速发展的今天,深度神经网络(DNN)已成为解决复杂模式识别任务的主力。然而,一个棘手的难题始终横亘在研究者与实用化之间:当模型从一个精心构建的、相对纯净的实验室环境,迁移到充满噪音、动态变化且数据稀缺的真实世界时,其性能往往会出现令人担忧的“断崖式”下跌。这种由于数据分布变化导致的模型退化现象,被称为“领域偏移”(Domain Shift)。面对领域偏移,传统的端到端(End-to-End)深度模型常常显得力不从心,要么在新领域表现不佳,要么就需要耗费巨量的数据和计算资源进行从头至尾的重新训练,这在许多对成本和实时性有严苛要求的应用(如在线手势交互、个性化康复评估等)中是难以承受的。那么,是否存在一种更加高效、鲁棒(Robust)的机制,能够让AI模型像人脑一样,快速适应新环境,从少量经验中学习,并保持对干扰的稳定性呢?为了解决这个问题,一项发表于《Communications Biology》的研究,从生物大脑的运作机制中汲取灵感,提出了一种创新的解决方案。
这项研究旨在解决传统深度神经网络在不可预测的嘈杂环境中,因领域偏移而性能下降,且需要高成本重新训练的问题。研究核心是探索如何实现快速、高效的领域适应(Domain Adaptation)。为此,研究人员开展了一项关于“基于不变输入驱动的连续吸引子的表征迁移用于快速领域适应”的主题研究。他们得出结论,通过构建一个模块化(Modular)的、受生物大脑启发的框架,能够将低维、稳定且灵活的运动表征建模为“不变输入驱动的连续吸引子流形”(Invariant Input-driven Continuous Attractor Manifolds)。这种方法使得模型在学习任务无关的、可迁移的稳健特征后,在部署到新任务时,仅需训练一个轻量级的适配器(Adapter),即可实现快速适应。结果表明,该框架在手势和康复动作识别任务上取得了与现有先进方法(State-of-the-art Methods)相竞争的准确率,尤其是在少样本(Few-shot)设定下优势明显,同时所需的模型参数量和训练成本都低了一个数量级。这项工作的重要意义在于,它通过整合生物启发的吸引子动力学(Attractor Dynamics)和类似大脑皮层的模块化组合,为现实世界信息处理中实现鲁棒、持续的适应性提供了一条切实可行的路径。
为了开展这项研究,作者主要运用了几个关键技术方法。首先,他们提出了一个模块化架构框架,其中每个模块都是一个循环神经网络(RNN),并通过一种简单的、与任务无关的协议进行预训练(Pre-trained),以学习鲁棒且可迁移的特征。其次,核心方法是利用“输入驱动的连续吸引子”(Input-driven Continuous Attors)机制,在模块的高维潜在空间(Latent Space)中,自然地形成稳定的低维表征流形(Manifold),这些流形对输入变化具有不变性(Invariance),并能抵抗时间扰动(Temporal Perturbations)。在模型部署阶段,研究采用了“轻量级适配器”(Lightweight Adapter)微调策略,即固定预训练好的模块化网络,只训练一个连接到这些模块输出的小型网络(适配器),从而实现对新任务的快速适应。研究在公开的手势识别数据集和康复动作识别任务上进行了验证,以评估框架的有效性、鲁棒性和适应性效率。
研究结果
模块化循环网络与连续吸引子形成稳健表征
研究人员通过为每个模块设计一个循环神经网络(RNN),并采用任务无关的简单协议进行预训练。研究发现,这种训练方式能够有效地将输入的运动模式映射到网络的高维活动空间中。关键在于,这些活动并非杂乱无章,而是在动力系统(Dynamical System)的作用下,自发地组织成低维的、平滑的“连续吸引子流形”。这个流形可以被想象成一个嵌入在高维空间中的弯曲表面,相似的输入(如同一手势的不同速度版本)会驱动活动状态在这个表面上沿着特定轨迹滑动,而不会被噪音轻易推出表面,从而形成了对输入细节变化(如速度、幅度)具有不变性(Invariant)的、同时又保持辨别力的内部表征(Representation)。这种机制模仿了大脑中观察到的某些神经回路的特性,为模型赋予了与生俱来的鲁棒性。
不变吸引子流形支持跨任务表征迁移
研究进一步探究了上述机制在迁移学习(Transfer Learning)中的价值。由于预训练协议是任务无关的,且形成的吸引子流形捕捉了输入数据中稳定、本质的结构(如运动的基本时空模式),这些学到的表征在不同但相关的任务间具有很强的可迁移性(Transferability)。实验表明,在一个任务(如通用手势识别)上预训练好的模块化网络,其内部形成的吸引子流形结构,能够为另一个新任务(如特定患者的康复动作评估)提供一个高质量的、富含信息的特征空间。这意味着,当面对新任务时,模型无需重新学习基础的、通用的运动特征,从而极大地降低了学习难度和数据需求。
轻量级适配器实现快速领域适应与高效部署
基于上述可迁移的稳健表征,研究人员设计了高效的部署策略。具体而言,在将预训练好的模块化网络应用于一个新领域(Domain)或新任务时,他们冻结(Frozen)了所有预训练模块的参数,仅在其输出端连接并训练一个参数极少的小型神经网络,即“适配器”(Adapter)。这个适配器的唯一职责是学习如何将模块输出的、通用的吸引子流形表征,映射到新任务特定的标签上。验证实验显示,这种“固定主干+微调头部”的方法,在手势识别和康复动作识别等多个任务上,仅用极少量的新领域标注数据(少样本设置),就能快速达到与需要完全重新训练的大型端到端网络相媲美、甚至更优的性能。同时,由于适配器参数量极少,整个训练过程所需的计算资源和时间都大幅减少,实现了快速领域适应(Fast Domain Adaptation)的目标。
在少样本与嘈杂环境下展现优越性能
最后,研究在更具挑战性的实际场景下系统评估了所提框架。在数据稀缺(少样本)和存在时间扰动(Temporal Perturbations)或噪音的模拟环境中,该框架表现出了显著优势。与传统的端到端深度神经网络相比,基于生物启发的模块化吸引子网络在准确率上保持了竞争力,尤其是在新数据极少的情况下,其性能下降幅度远小于对比方法。这证明了由连续吸引子形成的内部表征对噪音和扰动具有内在的抵抗力。此外,模型整体(预训练模块加适配器)的参数量比许多先进的深度模型少一个数量级,极大地降低了模型存储和计算开销,使其更适用于计算资源受限的边缘设备或实时应用。
结论与讨论
本研究成功提出并验证了一种受生物大脑启发的、用于快速领域适应的模块化框架。其核心创新在于,将循环神经网络(RNN)模块与“输入驱动的连续吸引子”动力学机制相结合,从而在学习任务无关的、鲁棒的运动表征方面展现出独特优势。该框架能够将高维的、复杂的感官输入,压缩并组织成稳定、灵活的低维流形表征。这种表征对输入的无关系节变化具有不变性,同时对关键辨别特征保持敏感,并且对时间噪音和扰动表现出良好的稳健性。
研究得出的主要结论是:首先,通过简单的、任务无关的预训练,模块化的循环网络能够自发形成作为连续吸引子流形的内部表征,这是一种高效且生物合理的特征学习机制。其次,这种机制学到的表征具有出色的可迁移性,能够作为不同但相关任务的通用特征基底。最后,基于此,通过冻结预训练模块并仅训练一个轻量级适配器,可以实现向新任务的快速、高效领域适应,在保持高性能的同时,极大减少了参数数量和训练成本。
这项工作的重要意义深远。在理论层面,它将计算神经科学中成熟的吸引子网络模型与深度学习进行了富有成效的交叉,为构建更具生物合理性、更鲁棒、更灵活的人工智能系统提供了新的思路。在应用层面,该框架为解决现实世界中普遍存在的数据稀缺、领域多变、计算资源有限等问题提供了切实可行的技术方案。尤其在需要快速个性化适应的领域,如人机交互、康复医疗监控、穿戴式设备行为识别等,该方法展现出了巨大的应用潜力。通过在《Communications Biology》上发表,这项研究也促进了脑科学与人工智能两大领域的对话与融合,为探索下一代受神经科学启发的机器学习算法奠定了重要基础。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号