基于脑对齐语义向量的视觉刺激神经解码新方法

《Communications Biology》:Brain-aligning of semantic vectors improves neural decoding of visual stimuli

【字体: 大 中 小 】 时间:2026年01月04日 来源:Communications Biology 5.1

编辑推荐:

  本研究针对现有神经解码算法在零样本场景下泛化能力不足的问题,提出了一种名为"脑对齐语义向量"的创新框架。研究人员通过多模态自编码器对预训练的CLIP和GloVe特征向量进行脑对齐优化,使其更符合大脑视觉表征结构。实验结果表明,该方法在fMRI、MEG和ECoG三种神经成像模态上均显著提升了视觉刺激的解码准确率,为脑机接口技术的发展提供了重要技术支持。

  
在神经科学和脑机接口研究领域,如何准确解码大脑中的神经信息一直是个核心挑战。传统的脑解码方法通常使用机器学习模型,将神经活动模式映射到预先定义好的刺激特征向量上。这些特征向量往往来源于图像或文本的特征空间,比如CLIP模型提取的视觉特征或GloVe模型生成的词向量。然而,这些预训练特征向量的内在特性可能与大脑实际编码信息的方式存在本质差异,特别是在零样本解码场景下——即模型需要泛化到训练时未见过的语义类别时,这种不匹配会严重限制解码器的性能。
目前的研究困境在于,虽然预训练特征向量能够实现高于随机水平的解码准确率,但模型难以精确学习从神经活动到特征向量的映射关系。考虑到为所有可能的语义类别训练解码器既不现实也不可行,开发更具鲁棒性和灵活性的解码模型变得尤为迫切。正是在这样的背景下,日本大阪大学的研究团队在《Communications Biology》上发表了他们的最新研究成果。
研究人员提出了一种名为"脑对齐语义向量"的创新框架,其核心思想是:如果用于表示刺激的特征向量能够更好地与人类大脑中视觉刺激的编码结构对齐,那么解码器就能更有效地学习从神经活动模式到特征向量的映射,甚至可以将这种映射泛化到新的语义类别。该研究的主要创新点在于通过多模态学习自编码器,对预训练的特征向量进行微调,使其潜在空间的二阶统计特征尽可能接近大脑活动模式的特征。
研究团队采用了Generic Object Decoding (GOD)数据集的功能磁共振成像(fMRI)数据来训练脑对齐模型。该数据集包含5名受试者观看1200张来自ImageNet的200个不同物体类别图像时的脑活动记录。数据集专门设计了训练集和测试集类别不重叠的方案,便于评估模型的零样本预测能力。
关键技术方法包括:使用CLIP图像编码器和GloVe模型生成预训练语义向量;通过自编码器框架结合表示相似性矩阵(RSM)对齐损失函数;采用留一受试者交叉验证策略;基于线性回归模型的神经解码分析;利用Human Connectome Project多模态图谱进行脑区定位;对fMRI、MEG和ECoG三种神经成像数据进行统一处理和分析。
fMRI脑解码视觉刺激
研究发现,脑对齐语义向量能够显著提高跨视觉皮层层次的零样本视觉刺激识别准确率。高阶视觉区域(特别是V4、LOC、FFA和PPA)的表现 consistently优于早期视觉区域(V1、V2、V3),这反映了这些区域在物体识别和语义处理中的专门化作用。值得注意的是,最佳脑对齐程度因使用的语义特征空间而异:CLIP-based向量在中等脑对齐强度(α=0.1)时表现最佳,而GloVe-based向量则受益于稍强的对齐强度(α=0.01)。两种特征类型在与V4神经活动模式对齐时都显示出峰值性能,这与V4在物体形状处理中的特殊作用相一致。
解码性能向其他模态的泛化:MEG和ECoG数据集
为了评估fMRI衍生的脑对齐向量在解码其他类型神经成像数据时的泛化能力,研究人员在MEG和ECoG神经数据上进行了解码分析。结果显示,基于fMRI V4数据衍生的脑对齐向量能够有效迁移到不同的神经成像模态。对于CLIP-based向量,最优脑对齐条件(α=0.1)显著优于原始预训练向量和仅重构条件(α=1)。对于GloVe-based向量,与原始向量相比,仅重构(α=1)和脑对齐条件(α=0.01)都带来了性能提升,其中脑对齐条件获得了更高的识别准确率。
神经成像模态间识别准确性改进的一致性
研究人员进一步探讨了脑对齐是否会产生类别特定的识别准确性变化,以及这些变化在不同神经成像模态间是否一致。通过将ImageNet中的类别聚类分析发现,脑对齐效果因类别类型而异:CLIP向量在人工制品和物体类别(如交通工具、工具)上表现出更大的改进,而GloVe向量在生物类别(如动物)上显示出优先增强,这表明视觉语义和基于文本的表征在不同语义领域与脑活动模式的对齐方式存在差异。
原始与脑对齐CLIP特征间类别可区分性的比较
为了研究脑对齐是否影响语义表征的内在类别结构,研究人员分析了单个特征单元的类别可区分性。结果显示,所有脑对齐条件都显著优于基线(α=1),表明神经约束在维度缩减效应之外还能改善特征表征。
该研究的讨论部分指出,脑对齐方法在提升不同神经成像数据集和不同个体间的零样本脑解码能力方面显示出显著潜力。与先前研究相比,该方法避免了手动定义属性的需要,直接利用神经表征的固有结构,提供了更直接、更全面的神经语义空间表示。研究结果还与关于超对齐和跨个体共享神经表征空间的文献相一致,成功通过fMRI衍生的脑对齐向量解码MEG和ECoG信号,为这些不同模态间存在共享表征空间提供了证据。
研究的重要意义在于,通过将脑相关信息整合到预训练特征向量中,即使用相对较小的fMRI数据集(约150个类别),也能提高跨不同个体和神经成像模态的零样本解码性能。这表明该方法能够高效捕捉关键神经表征,为开发更强大、更通用的脑机接口技术铺平了道路。未来研究可以探索脑对齐在更广泛认知领域和任务中的应用,同时开发减轻脑对齐过程中潜在偏差的方法,增强结果向量的可解释性,以促进实际应用。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号