《Communications Biology》:Dynamic spatiotemporal features in action recognition: a multimodal study
编辑推荐:
本刊推荐:为解决动作识别中时空特征的具体贡献不明问题,研究人员通过fMRI记录和多元模式分析(MVPA),在猴脑动作观察网络(AON)中解析了抓握优势的动作表征模式,并与行为分类及视频动态特征计算相结合,表明动作表征依赖于层级分布的时空特征选择性整合,为理解动作识别的神经计算机制提供了实证。
当我们观察他人伸手拿起一杯水,或是与人轻轻触碰时,我们的大脑是如何迅速且准确地识别出这些不同动作的?这看似简单的日常能力,背后却隐藏着复杂的神经计算过程。动作识别依赖于对动作中一系列空间(如身体部位的位置和形状)和时间(如动作的顺序和速度)信息的动态整合。然而,在这个认知拼图中,大脑究竟如何提取并利用这些瞬息万变的时空特征,不同特征的贡献又是怎样的,一直是认知神经科学领域悬而未决的关键问题。现有的计算模型虽然提出了诸多假设,但缺乏来自活体大脑的直接证据。为了解决这一难题,一支研究团队将目光投向了与我们共享着相似视觉和动作系统的猕猴,开展了一项巧妙结合行为学、脑成像与计算模型的多模态研究,其成果发表在权威期刊《Communications Biology》上。
研究人员为揭示动作识别的神经机制,主要运用了以下几项关键技术:首先,他们在猕猴观察抓握(grasping)、触摸(touching)和伸手(reaching)动作视频时,进行了高分辨率的功能性磁共振成像(fMRI)扫描,以捕捉全脑的神经活动。其次,他们利用多元模式分析(MVPA)这一强大的解码技术,对fMRI数据进行分析,旨在识别大脑中对不同动作类别有特异性反应的神经活动模式。此外,研究还引入了基于计算机视觉的方法,从行为实验所用的动作视频中系统地提取了动态的时空特征,以量化动作信息随时间的演变,并将这些计算特征与猕猴的行为表现进行关联分析,从而架起了神经活动、计算特征与行为之间的桥梁。
功能磁共振成像揭示动作表征的脑区分布
通过让猕猴在磁共振扫描仪内被动观看三类动作的视频,研究人员获取了其大脑活动的全景图。随后的多元模式分析(MVPA)结果显示,大脑并非以一个均质化的整体来响应所有动作,相反,不同脑区对动作的表征存在显著差异。特别值得注意的是,大脑中负责感知和理解他人动作的核心系统——动作观察网络(Action Observation Network, AON),表现出了一种清晰的模式:其大部分区域对“抓握”动作具有最强的神经表征,即呈现出“抓握优势”模式。这表明,在AON中,抓握动作可能获得了更精细或更具优先权的神经编码。
行为分类与神经表征的一致性
在完成脑成像扫描后,研究者对同一批猕猴进行了行为学测试,训练它们对观看过的动作视频进行分类。猕猴成功学会了区分抓握、触摸和伸手动作,其表现显著高于随机水平。更重要的是,当研究者将猕猴行为分类的准确性与之前脑成像中解码出的神经模式精度进行比较时,发现两者高度一致。这意味着,大脑(特别是AON)中表征动作的神经活动模式,直接反映了猕猴在行为上区分不同动作的能力。神经活动与行为表现的对齐,为AON在动作识别中的核心作用提供了强有力的证据。
动态时空特征的层级性计算与行为关联
为了深入探究驱动神经和行为表现的底层信息特征,研究者转向了计算分析。他们借鉴计算机视觉领域的思路,从刺激视频中提取了两大类特征:一是刻画身体形态和位置在每一帧静态信息的“空间特征”;二是描述身体部位如何随时间移动和变化的“动态时空特征”。通过分析这些特征在时间维度上的信息含量,研究者发现了一个层级化的处理过程:较为基础的空间特征在动作早期提供信息,而更复杂的动态时空特征则在动作序列的后期变得至关重要。进一步的关联分析揭示,猕猴的行为分类表现,并非与所有特征都相关,而是选择性地与那些最能区分不同动作类别的关键时空特征高度相关。这提示,大脑在识别动作时,可能像一个高效的过滤器,从海量的感官信息中,优先选取和整合那些对判别最有价值的特征线索。
总结与讨论
这项研究通过整合多模态方法,为动作识别提供了从计算特征、神经机制到行为表现的连贯证据链。其主要结论可归纳为:第一,猕猴大脑,尤其是动作观察网络(AON),采用分布式和差异化的编码策略来表征不同动作,其中抓握动作的表征尤为突出。第二,这种神经层面的表征模式能够直接预测动物在行为任务中区分动作的准确性,证实了AON是动作识别不可或缺的神经基础。第三,动作识别依赖于对动态时空信息的层级化处理,大脑并非平等使用所有视觉信息,而是行为驱动地、选择性地整合那些对识别最具诊断性的特征。
这项研究的科学意义重大。它首次在非人灵长类模型中,系统地建立了从刺激特征计算、到大规模脑网络神经活动解码、再到外显行为测量的完整验证闭环,为当前主流的计算神经科学模型(如层级预测编码模型)提供了坚实的实验依据。所展示的多模态分析框架——结合fMRI、MVPA和计算机视觉特征分析——也为未来处理其他复杂认知任务的高维神经数据提供了强大的方法学工具。在更广阔的视野下,理解动作识别的正常机制,有助于我们洞悉社交互动、运动学习乃至语言理解的本质,同时也为因中风、自闭症等导致动作理解障碍的神经系统疾病的机制研究与康复干预,指明了新的潜在靶点。