用于心理学、行为学与认知研究中沉浸式虚拟现实实验创建的工具箱:一项范围综述

《Computers in Human Behavior Reports》:Toolboxes for Creating Immersive Virtual Reality Experiments in Psychological, Behavioral, and Cognitive Research: A Scoping Review

【字体: 大 中 小 】 时间:2026年07月04日 来源:Computers in Human Behavior Reports 5.5

编辑推荐:

  沉浸式虚拟现实(Immersive Virtual Reality, IVR),尤其是头戴式显示器(Head-Mounted Displays, HMDs),为心理学、行为科学和认知神经科学领域提供了生态代表性极高的研究手段。定制化VR环境虽能提供可观的实验控

  
沉浸式虚拟现实(Immersive Virtual Reality, IVR),尤其是头戴式显示器(Head-Mounted Displays, HMDs),为心理学、行为科学和认知神经科学领域提供了生态代表性极高的研究手段。定制化VR环境虽能提供可观的实验控制,但其开发往往资源密集。软件开发工具包(Software Development Kits, SDKs)和平台的出现使虚拟现实研究更加普及,然而这些工具箱缺乏关于其可用性与应用性的系统性概述,阻碍了研究人员的知情决策。当前这项范围综述旨在绘制现有用于沉浸式认知、行为和心理研究的VR工具箱全景图,与先前聚焦于特定实验 niche 的综述不同,本研究为非编程研究人员提供了综合性的证据图谱和实用的决策支持框架。2024年12月,研究人员依据PRISMA-ScR(系统综述与元分析首选报告项目之范围综述扩展)原则检索科学数据库和灰色文献,采用预设检索策略和多评审员方法确保可靠的筛选和数据提取,对检索数据进行描述性和主题分析,绘制工具箱特征、主要研究应用及非编程研究人员的可用性图谱。
**一、研究背景与动因**

虚拟现实技术正日益成为行为与认知科学研究的核心工具,其通过模拟具有高度生态效度(ecological validity)的自然主义环境,赋予用户强烈的"临场感"(presence),使其从被动观察者转变为主动参与者。相较于传统的静态二维刺激(如屏幕上的单词列表、图像对或基础物体),沉浸式VR能够将参与者置于可控且交互式的世界中,以"场景"本身作为自变量,从而研究高风险决策或创伤后应激障碍(Post-Traumatic Stress Disorder, PTSD)治疗干预等在现实世界中难以复现或伦理上不可行的情境。

然而,尽管VR具有变革性潜力,显著的技术障碍仍使许多研究人员和实验室无法加以利用。强大的游戏引擎(如Unity)虽提供丰富的工具、资源和插件以辅助构建交互世界,但这些资源通常面向商业或娱乐目的设计,缺乏科学研究所需的关键内置功能,如精确的时间控制、复杂的数据记录能力和结构化的试次管理。研究人员不得不将通用工具适配于科学场景,或从零构建这些核心组件,这需要高级编程技能、三维建模专长以及大量的时间与资源投入。这一技术壁垒往往将VR的使用限制于拥有专业技术团队的大型、资金充足的实验室,使其对小型研究群体或缺乏软件开发经验的跨学科学者难以企及。这种悖论在于:最可能提出关键问题的研究者往往最缺乏回答这些问题所需的工具。

为弥合这一可及性差距,专门化的VR平台与工具箱生态系统迅速发展,旨在通过提供易用的界面和预制的交互、导航及数据记录模块来大众化沉浸式研究。这些工具箱涵盖多种类型:领域专属工具包(如简化复杂空间导航任务创建的OpenMaze)、提供核心软件结构的基础框架(如Unity Experiment Framework, UXF)、无需编程的独立应用程序(如NeuroVirtual 3D),以及专门化刺激库(如Okada等开发的范式)等。 Bump Lower 技术壁垒,使研究人员无需广泛编程知识即可设计和执行精密研究。

尽管这些工具潜力巨大且快速增殖,关键的知识缺口依然存在:缺乏关于工具箱优势、劣势和可用性的全面图谱,导致研究人员难以发现可用工具、比较技术特征或判断其是否适用于特定研究领域。这迫使研究者基于不完整信息做出决策,潜在地阻碍了VR的采用,并导致重复开发努力和研究资金的不当配置。基于此,本范围综述旨在识别、特征化和描绘现有专门用于沉浸式行为、心理和认知研究的VR工具箱全景,依据PCC(Population, Concept, Context)框架,回答以下核心研究问题:现存哪些专门化软件工具和平台?其核心技术特征和功能能力为何?这些工具的关键权衡、采用壁垒和可持续性挑战是什么?如何对现有工具进行系统分类以指导研究者选择最优平台?

本综述特别关注行为、心理和认知研究,同时承认这些领域与人机交互(Human-Computer Interaction, HCI)之间存在显著的方法学重叠。许多纳入综述的工具箱最初为用户体验(User Experience, UX)测试或通用扩展现实(Extended Reality, XR)实验开发,但因提供行为科学所需的高保真数据记录、标准化问卷集成和同步生理事件标记等基本功能而被纳入。

**二、研究方法**

本范围综述遵循PRISMA-ScR指南执行和报告,研究方案已在开放科学框架(Open Science Framework, OSF)正式注册以确保透明性、可重复性和开放科学标准的遵循。2024年12月,研究人员系统检索了IEEE Xplore、PubMed、Scopus和Web of Science四个科学数据库,并在预印本服务器(如arXiv、PsyArXiv)和Google Scholar进行补充性灰色文献检索,同时采用引文检索法(滚雪球法)的上升法和下降法。检索策略结合布尔运算符,要求出版物标题或摘要同时包含虚拟现实相关术语(如"Virtual reality"、VR、HMD)、相关研究领域术语(如psycholog*、cogniti*、behavi*)以及工具性质术语(如toolkit、toolbox、framework)。

纳入标准包括:描述为行为、认知和心理实验研究设计沉浸式VR体验的著作工具或软件;涉及通过HMD递送的沉浸式VR(排除基于桌面或CAVE/IRE投影系统);面向人类参与者研究;限于同行评审期刊或会议论文集中的原创研究文章;英文撰写。功能上,若工具提供实证人类研究的必要技术基础设施(如精确数据记录和遥测、实验试次管理、主观状态评估),即使其主要定位于HCI或UX语境,亦被纳入。排除标准包括:主要用于临床干预或培训而无研究或评估组件;非大型集成研究框架的低级别硬件特定SDK或通用VR创作工具;不再可用、可获取或受支持的工具;与已纳入工具重复或冗余的工具。

筛选过程使用Rayyan网络应用程序管理,经EndNote自动去重后,三位独立评审员进行两阶段筛选:首先筛选标题和摘要,进行10%结果的试点筛选以校准决策一致性;随后对通过初筛的文献全文进行评估。数据提取使用Microsoft Excel标准化表格,由两位评审员独立提取10%子集以试点表格,随后协作完成其余研究。采用主题分析方法对描述性数据进行分类,包括报告的优势、局限性等,识别共同主题并进行分组,技术特征术语标准化以便频次统计和主题分组。

**三、主要技术方法**

本研究采用范围综述方法学,基于PRISMA-ScR框架,系统检索并分析了34个VR工具箱。关键技术方法包括:多数据库系统检索(IEEE Xplore、PubMed、Scopus、Web of Science)结合灰色文献检索和滚雪球引文追踪;多评审员双阶段筛选与一致性校准;标准化数据提取与描述性统计结合主题分析;基于技术需求、研究兼容性和文档质量的决策矩阵构建。样本队列来源方面,纳入的34个工具箱源自2009年至2024年的同行评审文献,其中73%在2020年后发布或重大更新,地理上集中于北美和欧洲的研究机构。

**四、研究结果**

**3.1 检索与筛选过程**

初步数据库检索获得3,686条记录,灰色文献检索额外发现16条,经去重和筛选后,1,005条记录进入标题和摘要筛选,76篇全文被检索用于资格评估,最终排除42篇,纳入34篇报告。最终纳入的34个工具箱中,22篇来自数据库检索,12篇来自其他检索方法。

**3.2 已识别VR工具箱的一般特征**

34个工具箱覆盖2009年至2024年,73%于2020年后发布或更新。地理分布上,美国(9/34, 26%)、德国和加拿大(各5/34, 15%)贡献最多,其次为英国和意大利(各3/34, 9%)。

技术层面,Unity游戏引擎为最常见基础平台(17/34, 50%),Python框架次之(8/34, 23%),自定义引擎(4/34, 12%)及Unreal Engine或基于WebXR的技术(3/34, 9%)较少。许可方面,71%(24/34)采用开源许可(主要为MIT和GPL),仅12%(4/34)为专有或商业性质。几乎所有工具箱均提供文档,并通过GitHub issues页面、专门论坛或直接开发者联系等形式提供社区支持。

**3.3 技术特征**

实验环境与逻辑创建方式构成关键区分维度:74%(25/34)使用脚本(主要为C#或Python)定义实验逻辑,提供最大灵活性但需编程专长;47%(16/34)提供某种图形用户界面(GUI)解决方案,包括完全无代码环境(如NeuroVirtual 3D的拖放编辑器)及GUI与脚本混合系统(如bmlTUX和OpenMaze)。

硬件与输入/输出(I/O)支持方面,除标准控制器外,38%(13/34)明确支持眼动追踪(包括Attention Atlas和PLUME等),32%(11/34)支持生理传感器或脑电图(Electroencephalography, EEG)系统(如BARGAIN和VRSTK)。输出方式主要为视觉和听觉,部分平台如Attention Atlas和Ouvrai还支持触觉反馈。

数据处理方面,位置/运动学数据和行为数据(如反应时、用户输入)为几乎所有平台的核心记录内容。CSV是最常见的数据导出格式(至少13/34, 38%),JSON用于试验配置和结果导出(7/34, 21%)。时间精度方面,26%(9/34)声称高精度定时(毫秒级或更高),如PLUME(100ns时钟精度)和PTVR(约2ms试验精度)。

高级功能上,71%(24/34)支持化身或智能体,44%(15/34)提供多用户或云功能,Lab Streaming Layer(LSL)等外部硬件和软件集成成为关键特征(如PLUME和OMVR)。仅9%(3/34)明确注明支持跨物种研究,包括BonVision和Doucet_2016工具箱。

**3.4 可用性与研究者体验**

易用性主要由主要交互方法决定。47%(16/34)为主要基于GUI的工具,设计以降低无编程经验研究人员的技术门槛,如bmlTUX和OpenMaze,学习曲线平缓;35%(12/34)需要脚本编写,要求C#或Python等语言熟练度,如psychXR和Vizard,学习曲线陡峭;其余提供混合方法。

灵活性与可扩展性与许可和设计哲学强相关。86%的高扩展性工具箱(24/28)为开源,允许研究者自由修改和扩展源代码。专有解决方案如CyberSession也可通过脚本API实现高扩展性,但核心引擎不可修改。低扩展性工具如NeuroVR 2和luVRe通常设计为固定平台或刺激集,不打算由终端用户根本改变。

**3.5 心理学与行为研究中的应用**

应用领域以空间和记忆导航最为常见(至少10个工具箱的主要焦点,如Landmarks、OpenMaze和SNaP Framework),其他突出领域包括视觉与感知(bmlTUX、PTVR)、运动控制与学习(Ouvrai、MovementVR),以及临床心理学的多个领域(如恐惧症治疗的CyberSession和卒中后康复的NeuroVirtual 3D)。

实验范式涵盖经典和新颖类型:Morris水迷宫(Doucet_2016、NavWell等)、注意与记忆范式(VREX的变化盲视和错误记忆模板、luVRe的"隐形大猩猩"实验复现)、临床暴露治疗场景(CyberSession的公开演讲模拟)以及道德决策游戏(BARGAIN)等。

目标人群以健康成人和大学生最常见,但许多工具箱设计用于或已应用于临床群体,包括卒中患者(Attention Atlas)、焦虑障碍个体(CyberSession)和阿尔茨海默病患者(SNaP Framework)。方法整合方面,EEG为最常见整合工具(11个工具箱提及),眼动追踪整合入10个工具箱,部分还支持功能性磁共振成像(fMRI)和多种心理生理传感器。

**3.6 报告的优势与局限性**

共同优势包括:实现高生态效度和临场感,在受控、安全、可重复条件下模拟现实世界或高风险条件;降低技术壁垒(GUI或无代码方法使无广泛编程经验的研究人员能够创建复杂实验);灵活性与模块化(如PLUME和VNT的可重用组件);以及开源协作的益处。

主要局限性包括:显著的技术开销和陡峭的学习曲线;定时精度问题(部分工具箱受引擎主线程更新率限制,与应用程序帧率绑定);可及性和可持续性不一致;以及专有软件和不断演变的许可模型的依赖造成的成本或准入壁垒。

**五、讨论部分总结**

本范围综述系统绘制了34个专门用于行为、认知和神经科学研究的VR软件工具全景。结果显示该生态系统充满活力、创新性强但碎片化,自2020年以来超过70%的已识别工具箱出现,增长主要集中于北美和欧洲的主要学术研究枢纽。分析揭示了研究人员需要权衡的多个重要问题,并指明了影响沉浸式科学未来的关键趋势。

**核心权衡与趋势**

商业游戏引擎,尤其是Unity,已成为学术研究的非官方 standards,其无与伦比的跨平台支持和丰富的社区资源降低了入门门槛。然而,通用游戏引擎并非为研究而设计,缺乏控制行为实验所需的基本架构组件(如 session/block/trial 管理结构、高级数据记录系统和精确刺激控制工具),导致"研究者税"——开发时间成本和科学有效性潜在威胁。最重大的局限性在于难以实现精确的时间控制:Unity默认执行逻辑与渲染循环(显示帧率)内在耦合,使刺激 onset 和数据记录易受帧率诱导变异的影响。尽管并行线程提供技术可行路径,但其实现需要超出大多数研究团队基准熟练度的架构复杂性。

开源维度方面,Unity的专有基础催生了活跃的开源研究工具箱生态系统,形成"专有平台+社区驱动开源科学工具层"的混合模式。Unity的主导地位是路径依赖现象,由强大反馈循环驱动:早期可及性导致学术研究者采用,先驱者构建并共享第一代开源工具箱,该"脚手架"存在使Unity对下一波研究者更具吸引力。然而,Unity的"个人"层级对中型学术实验室的资金门槛(20万美元强制升级Pro席位)以及开源引擎(如提供类似C#友好环境而无机构开销的Godot)的兴趣增长,正挑战其主导地位。

基于引擎的研究工具箱和框架可分为三类功能分类:提供行为实验基本"骨干"和稳健数据记录系统的通用实验框架(如UXF、VREX、bmlTUX);为特定范式设计的领域专属工具包(如空间和记忆导航的OpenMaze、Landmarks、NavWell、VNT;视觉神经科学的BonVision;运动控制和学习的MovementVR、Ouvrai);以及连接虚拟环境与EEG、fMRI或眼动追踪等外部系统的硬件/软件集成API(如用于闭环脑机接口的Synapse-Unity API、采用LSL实现多数据流标准化同步的OMVR和PLUME)。

采用、影响和可持续性挑战方面,成功采用与宽松开源许可、全面文档、活跃维护以及解决共同研究问题相关;而专有许可、文档不佳、项目废弃或过于小众则阻碍采用。学术开源工具多由单一研究实验室的少数人开发维护,长期可行性依赖于原创者的持续投入,存在较高的项目废弃风险。

专业化集成系统方面,存在与基于通用游戏引擎的可扩展工具箱不同的"交钥匙"解决方案类别,优先于程序化灵活性的易用性、标准化和可靠性。"器械式"模型提供完整、开箱即用的解决方案,适合需要标准化协议、可重复性和可靠性的临床环境,但灵活性显著降低。NeuroVR 2和NeuroVirtual 3D为典型代表,前者以免费、开源、无需编程的拖放编辑器为特征,核心局限在于功能限于内置特性,不易通过编程扩展;后者在保持无代码设计的同时扩展了外部硬件(如生物传感器和Microsoft Kinect)集成的研究能力。高端专有商业系统如CyberSession和Vizard则提供-professional 支持、保证的硬件兼容性和稳健的外设集成,但缺乏开源可扩展性且需要大量资金投入。

**未来方向**

未来开发优先事项包括:增强多用户实验支持以推动社会认知研究;整合人工智能实现自适应难度、程序内容生成和智能虚拟代理;扩展至增强现实(AR)和混合现实(MR)的更广XR谱系;以及弥合易用性与灵活性之间差距的更完全集成解决方案。

标准制定和互操作性方面,避免重复劳动(尤其在空间导航等领域)和促进结果跨实验室可比性至关重要。更广泛采用LSL等社区标准是实现更模块化、可互操作组件共享和使用而非庞大一体式解决方案的关键步骤。

机构挑战方面,学术研究中日益增长的技术复杂性需求凸显了专业研究软件工程师(Research Software Engineers, RSEs)角色的重要性——作为学术环境中工作的专业软件开发人员,其对于现代计算密集型科学的成功日益关键。

向开放和可持续研究生态系统的转变方面,尽管Unity因建立生态系统仍是事实标准,但该领域正开始战略转向开源和替代引擎。Godot作为真正开源(MIT许可)工具,提供"面向未来"的开放科学基础,确保实验流程无需重复座位许可成本即可保持可及性。NVIDIA Omniverse的高保真物理集成和Unreal Engine的视觉能力则服务特定的高端模拟 niche。预计下一代VR工具箱将优先采用平台无关框架或开源引擎,以确保行为研究的长期可重复性和可负担性。

**六、研究结论**

本范围综述结论部分系统综合了关键权衡:易用性通常以灵活性为代价;专有支持与开源协作各有优劣;图形保真度与科学精度常存冲突;实验室控制与远程可扩展性之间需要权衡。理想软件完全取决于研究设计的具体优先事项(参见图2)。

当前生态系统虽覆盖几乎所有niche,但仍存在显著差距:需要成功桥接易用性与灵活性的工具,兼具NeuroVR或VREX的直观GUI驱动设计和UXF的底层程序能力与可扩展性;领域需要更大的标准化和互操作性,特别是在空间导航等领域避免重复努力;以及认识到专门的RSE角色的机构重要性。

关于开源和可持续生态系统转向,Unity许可模式的近期变化为许多长期学术预算引入了财务不可预测性,Godot等真正开源的引擎正成为高潜力替代方案。研究界必须以协作、可持续性和方法严谨性为重点推进,资助机构应支持开发和维护核心开源社区基础设施的倡议以减少碎片化,研究人员则应优先使用促进透明和可重复 workflow 的工具。这一令人兴奋领域的未来不仅取决于VR硬件的能力,还取决于将科学问题变为现实的软件的质量、可靠性和可及性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号