探索交互式VR环境创建的动态机制:人类协作与人工智能辅助的对比
《Proceedings of the ACM on Human-Computer Interaction》:Exploring the Dynamics of Authoring Interactive VR Environments: Human Collaboration vs. AI Assistance
【字体:
大
中
小
】
时间:2026年07月18日
来源:Proceedings of the ACM on Human-Computer Interaction
编辑推荐:
摘要
虚拟现实(VR)环境中的终端用户开发工具有望降低创建交互式VR应用的门槛,但目前大多数工具仍为单用户设计,且对协作功能的支持十分有限。与此同时,人工智能领域的最新进展为通过AI辅助实现协作式创作带来了新机遇。本文介绍了Co-VREUD,这是一种基于网络的终端用户开发工具
摘要
虚拟现实(VR)环境中的终端用户开发工具有望降低创建交互式VR应用的门槛,但目前大多数工具仍为单用户设计,且对协作功能的支持十分有限。与此同时,人工智能领域的最新进展为通过AI辅助实现协作式创作带来了新机遇。本文介绍了Co-VREUD,这是一种基于网络的终端用户开发工具,可支持多人共同创建VR环境。Co-VREUD能够实现两名用户之间的实时协作,以及人类用户与AI助手之间的协作,并允许用户通过PC端或VR端界面进行创作。我们在一项有32名参与者参与的2×2对照研究中对Co-VREUD进行了测试,比较了不同协作类型(人与人 vs. 人与AI)及设备类型(PC vs. VR)下的使用效果。研究结果表明,协作虽然增加了协调成本,但并未带来整体效率的提升。参与者普遍更倾向于使用PC端进行创作,也更喜欢与他人合作而非与AI助手协作。定性观察还发现,人与人协作时存在不同的行为模式。这些研究结果表明,尽管协作式VR终端用户开发工具在技术上已具备可行性,但目前尚未被视为PC端创作的合适替代方案,尤其是在VR创作领域。我们探讨了协作式VR终端用户开发系统设计的相关启示,并提出了未来将人类与AI协作者整合到沉浸式创作环境中的研究方向。
AI总结
AI生成的总结(实验版)
该总结由自动化工具生成,未经文章作者撰写或审核。它旨在帮助读者发现相关内容、评估文章相关性,以及便于相关领域的读者理解本文内容。该总结是对作者提供的摘要的补充,而作者提供的摘要仍是文章的核心总结。完整文章才是最具权威性的版本。点击此处了解更多信息。点击此处对该总结的准确性、清晰度及实用性发表意见,您的反馈将有助于改进未来的总结版本。要查看此AI生成的通俗语言总结,您需要拥有高级访问权限。
1 引言
虚拟现实技术已从一种专业且昂贵的技术,发展为一种可广泛使用的沉浸式交互体验平台。如今的消费级VR系统具备立体视觉、空间交互功能,还能通过头部、手部及身体追踪实现输入操作,使用户能够以与传统计算机界面截然不同的方式感知和操作三维环境。随着VR硬件的易用性及功能不断提升,人们对定制化VR体验的兴趣也在不断增长。
尽管取得了这些进展,但创建交互式VR应用仍是一项高度技术化的任务,通常需要深厚的编程功底。这与终端用户日益多样化和动态化的需求形成对比,因为终端用户往往希望软件能根据其特定需求进行定制。终端用户开发旨在解决这一难题,让非程序员也能独立创建、修改和扩展软件系统[16]。尽管终端用户开发工具已在网页应用、数据管理及自动化等领域得到广泛应用,但在VR领域的应用仍然有限。
非专业的VR终端用户开发者面临着诸多挑战,这些挑战使得VR终端用户开发与那些在更成熟领域中的终端用户开发有所不同。创建交互式VR场景需要考虑三维空间、物体摆放以及第一人称视角等问题,而这些都不是大多数终端用户的日常经验所涵盖的[35]。除了静态内容制作外,定义场景行为通常还需要编写事件-条件-动作规则,这更接近编程而非文档编辑,因此非开发者往往难以掌握[3, 4]。VR领域的主流开发工具链(如Unity、Unreal、Godot)更是让情况更加复杂,因为它们为开发者提供了专为技术专家设计的专业级界面、脚本系统及资源处理流程,而非为终端用户设计[31]。最后,即使非专业人士能够使用无代码开发工具,这类工具也几乎都是单用户设计,这就无法实现其他终端用户领域中最为常见的获取帮助的方式——在创作过程中向经验更丰富的人寻求帮助。正是这些挑战——空间推理、行为定义、复杂的工具链以及缺乏工具内的协作功能——决定了我们这项工作的设计方向。
与此同时,软件开发已逐渐变成一种以协作为核心的流程。现代开发工作流依赖于多名贡献者之间的紧密配合,而实时协作及版本控制工具则为这种协作提供了支持。近年来,人工智能也逐渐成为开发过程中的协作伙伴,生成式AI模型被集成到开发环境中,用于协助设计和实现软件产品。这些发展表明,终端用户开发中的协作不应仅限于人与人之间的协作,还应将人与AI之间的协作作为核心设计要素。
然而,在VR终端用户开发的背景下,协作功能仍然鲜有研究。现有的工具大多针对单用户设计,几乎不提供或完全不支持交互式VR环境的协作创建。这是一个明显的缺陷,因为VR应用本身极为复杂,因此极大受益于协作式设计。此外,VR技术还为考虑不同协作者的偏好提供了独特机会:终端用户可以在与未来使用者相同的三维空间中设计和编辑环境。不过,此类沉浸式创作环境如何影响协作,以及其与传统的PC端工具相比有何优劣,目前仍缺乏深入研究。
因此,我们的研究目标是通过设计、实现并评估一种适用于VR终端用户开发的协作方法,来填补这一空白,该方法支持在PC端和VR平台上实现人与人以及人与AI之间的协作。为此,我们提出了以下核心研究问题,以指导我们的研究工作:
RQ1:如何将协作功能集成到终端用户开发工具中,以支持交互式VR环境的共同创建?
RQ2:终端用户更倾向于使用PC端还是VR端的编辑界面来共同创建交互式VR环境?
RQ3:终端用户更喜欢人与人协作,还是人与AI协作来共同创建交互式VR环境?
为了解答这些研究问题,我们需要设计并实现一种名为Co-VREUD的协作式VR终端用户开发工具,以实现交互式VR环境的创建。Co-VREUD的目的是填补现有协作式VR终端用户开发工具之间的空白。为了解答RQ1、RQ2和RQ3,Co-VREUD必须能够支持不同类型的协作(人与人 vs. 人与AI)以及不同类型的设备(电脑 vs. VR设备)。同时,它还需满足一定的要求,才能作为我们可用性评估研究的有效基础。这些要求源自以往研究中的最佳实践和见解,确保Co-VREUD符合VR终端用户开发领域的既定原则。
虽然终端用户开发既包括编码方式,也包括无代码方式,但先前的研究表明,终端用户开发者通常更倾向于无代码或低代码环境[15]。同样,虽然协作可以是同步的,也可以是异步的,但对于类似结对编程这类需要实时协作的任务而言,同步协作更具优势[18]。此外,有研究指出,直接在VR环境中创建VR环境被认为更为直观,尽管相比PC端工具,其精确度可能稍低[35]。
因此,通过在多个平台上实现实时、无代码的交互式VR环境开发方法,可以让更多用户使用该系统,同时满足不同用户的需求。基于现有文献的研究成果以及我们研究的一般目标,我们制定了以下要求清单,这些要求既用于查找相关文献,也用于指导Co-VREUD的开发:
•设备支持——电脑:Co-VREUD必须在传统电脑上可以使用[35]。——VR设备:Co-VREUD必须能在VR设备内的VR环境中使用[35]。
•内容——静态VR内容:用户应能够创建包含几何体、光源及媒体对象的静态3D环境[35]。——交互式VR内容:用户应能够定义各种交互和行为(如触发器、动画等)[35]。
•协作——人与人协作:多名用户必须能够同时在自己的设备上编辑同一个VR环境。——人与AI协作:Co-VREUD必须支持能够理解自然语言指令并能执行与人类相同操作的集成式AI助手。
通过落实这些要求,我们得以回答研究问题。总体而言,我们从两个维度研究了VR终端用户开发中的协作问题:(1)人与人之间的协作;(2)人类与AI助手之间的协作。我们还进一步探讨了这些协作形式在不同平台——即桌面电脑和沉浸式VR设备——上的影响。
我们以Co-VREUD作为研究工具,开展了一项用户研究,旨在通过实证方法探究不同形式的协作如何影响交互式VR环境的共同创建。具体而言,我们研究了参与者在沉浸式与非沉浸式环境中的协作体验,以及他们如何看待在终端用户开发过程中协作伙伴的角色。基于我们的研究,本文做出了以下贡献:
•Co-VREUD的设计与实现。
•对VR环境与桌面端终端用户开发中协作模式的实证比较。
•关于终端用户在共同创建交互式VR环境时与人类及其他AI助手协作时的偏好与认知的见解。
本文的其余部分结构如下:第2节回顾相关文献;第3节介绍Co-VREUD的概念设计及实现细节;第4节阐述Co-VREUD的评估流程;第5节呈现我们的用户研究结果,第6节对这些结果进行讨论;最后,第7节对全文进行总结,并展望未来的研究方向。
2 相关工作
在介绍Co-VREUD的设计与实现之前,我们先回顾一下关于终端用户开发以及VR领域协作的相关研究。虽然我们的系统要求强调了无代码创作和实时协作功能,但在文献检索过程中并未将这些作为严格的筛选标准,以便涵盖更广泛的相关方法。
所发现的成果被分为两大类:终端用户开发与协作。对于每项研究成果,我们都分析了其所支持的功能,并在表1所示的功能支持矩阵中进行汇总。该矩阵根据各项成果的重点和术语差异,进一步区分了创作功能与终端用户开发功能,以及人类协作与AI协作功能。
以下各节将探讨这些相关研究,并说明为何需要进一步研究VR领域的协作式终端用户开发。
2.1 终端用户开发
长期以来,关于扩展现实(XR)领域的终端用户开发及创作工具的研究,一直致力于降低创建沉浸式内容的技术门槛。这些技术门槛与网页应用或数据驱动应用中的终端用户开发所面临的门槛有所不同:非专业VR创作者不仅需要具备三维思维能力,还要能够在第一人称视角下放置和调整物体,定义物体的行为,同时还需使用通常来自专业游戏引擎工作流的工具。早期的研究侧重于让用户在沉浸式环境中直接进行3D操作,而较新的系统则更注重无代码方法、快速原型设计以及智能辅助功能,以此帮助非程序员创建XR体验。
最早的沉浸式终端用户开发系统之一HoloSketch展示了用户如何利用WYSIWYG交互技术直接在VR环境中绘制和编辑3D对象。这项工作凸显了沉浸式交互在提升3D内容创作可及性方面的潜力,但其功能仅限于静态模型和动画[9]。意识到类似的可用性挑战,Thalen和van der Voort主张将终端用户开发理念应用于VR工具设计,并强调应在设计初期就让终端用户参与其中[30]。
后续的系统将沉浸式终端用户开发拓展到了更多实际应用领域。例如,Svidt和S?rensen提出了一种基于VR的医院室内设计原型,该原型结合了触摸屏编辑器与沉浸式可视化功能,有助于提升空间理解能力。尽管该系统在概念上支持协作,但其主要贡献在于展示了VR如何支持参与式设计,而非协作式创作[29]。
还有一些工具允许用户直接在沉浸式环境中创建VR环境。VR GREP enables非技术用户通过语音、手势及视线追踪等多模态交互技术来创建VR内容[34]。后续研究显示,与桌面端工具相比,沉浸式创作更具吸引力,更能激发创造力,但也存在精度和控制方面的权衡[35]。
其他一些方法则侧重于轻量级或基于网页的创作方式。XOOM允许用户基于360°视频创建VR体验,其目标受众为低成本硬件设备及教育领域[10]。VREUD采用基于向导的无代码方法,帮助没有编程经验的用户创建交互式VR环境[32]。除了沉浸式创作工具外,还有多种原型设计工具旨在支持快速的XR设计。ProtoAR、360proto和360theater结合了物理原型与数字原型技术,让设计师无需承担过多技术负担即可探索空间交互设计[21, 22, 28]。类似地,Rapido通过演示编程方式来支持交互式AR原型设计[14],而INTERACT则提供了在Unity中创建VR培训模拟的无代码框架[31]。基于规则和模板驱动的系统进一步降低了创作门槛。ECARules4All允许用户通过类似自然语言的语法来定义包含事件-条件-动作规则的交互行为[4],而EUD4XR则通过多模态对话代理在规则创建过程中为用户提供辅助[3]。Artizzu的相关研究探讨了用于XR培训场景的模块化EUD系统,强调了其适应性和可重用性[2]。总体而言,EUD以及用于XR的创作工具在帮助非程序员创建沉浸式交互内容方面取得了显著进展。不过,目前大多数系统主要支持单用户模式,而对于跨不同设备进行同步协作,以及涉及人类与AI协作的需求,相关支持仍然有限。
2.2 协作
协作是许多设计和开发活动中的核心要素,而XR环境则为实现共享的空间理解、沟通与协同创作提供了独特机会。该领域的研究涵盖了协作式VR系统、概念框架,以及将人工智能作为主动协作伙伴的整合方式。早期的协作系统研究主要聚焦于架构和交互方面的挑战。RistrettoMobile解决了移动平台上的协作式终端用户开发问题,但并未提供沉浸式创作支持[1]。在沉浸式环境中,nRoom等系统展示了共享VR环境如何提升空间设计任务中的沟通效率与问题识别能力[33]。有一些研究探讨了协作式VR的技术层面与用户体验方面。Peters等人分析了混合现实协作中与同步、通信及共享状态相关的系统级挑战[24]。Coelho等人则推出了一种用于多感官VR体验的协作式创作工具,比较了桌面端与沉浸式交互方式的优势,强调了沉浸式界面的创意价值[6]。此外,还有基于角色和以任务为中心的协作方法被探索过。XRDirector借鉴电影制作中的角色划分来构建协作式XR创作流程[20],而CollaboVR则研究了可配置的协作布局,以支持团队创意工作[11]。最近,CollaVRation将协作式VR理念应用于软件开发任务,展现了沉浸式协作在内容创作之外的应用潜力[13]。概念性研究为协作式XR提供了更广阔的视角。Pidel和Ackermann根据同步性与实体存在性提出了XR协作的分类体系[25]。ABC-VR则从活动理论角度出发,构建了支持以学习为目标的协作式VR框架[23]。在与人类之间协作的研究同时,人工智能也逐渐被整合到XR系统中。早期关于智能虚拟环境的研究探讨了具有物理行为与认知能力的自主代理[17]。而近期的研究则更注重将人工智能视为协作伙伴而非独立系统。Koch提出了一种以设计为导向的协作式AI系统框架,强调任务理解、适应性调整及反馈机制的重要性[12]。目前的某些系统还将生成式人工智能直接集成到XR创作工作中。LLMR能够通过自然语言实现交互式3D环境的创建与修改[7],其他工具则致力于探索人工智能辅助下的XR原型设计及内容生成[27]。VRCopilot研究了沉浸式空间布局设计中人类与AI的不同协作模式,揭示了自动化、控制能力与用户感知之间的权衡关系[36]。Tell-XR则展示了对话型代理如何通过结构化对话帮助终端用户实现XR自动化的创作[5]。综合分析表明,以人为中心的设计对于人工智能支持的系统至关重要。de Oliveira等人以及Nah等人强调了将人工智能集成到VR系统中时的效率提升与伦理考量问题[8, 19]。Puerta-Beldarrain等人进一步提出了有效人类与AI协作的统一原则,包括信任、透明度及共同主动性等要素[26]。尽管取得了这些进展,目前大多数协作式XR系统要么专注于人类之间的互动,要么仅提供单用户的人工智能辅助功能。在共享的沉浸式创作环境中直接比较人类之间协作与人类与AI协作效果的实证研究仍然较少。
2.3 讨论
早期针对Web的终端用户开发实践表明,通过创作工具,复杂的技术领域可以逐步向非程序员开放。人们很早之前就预计虚拟现实也会沿着类似路径发展,早在1995年就有呼声呼吁建立VR创作环境[9]。从那时起,越来越多的研究开始探索用于创建沉浸式交互式VR内容的EUD工具。然而,我们的综述发现现有方法存在若干局限性。目前大多数用于VR的EUD及创作工具仅支持基于PC或VR的编辑方式,很少有工具能在统一的流程中同时支持这两种方式,尽管有研究认为两种方式都具备足够的可用性[6]。即便在那些同时提供两种交互模式的工具中,用户通常也被要求交替使用这两种平台,而非自由切换[14, 21, 22, 28, 29]。如果能让开发者灵活选择并在不同设备间切换,将会提升工具的易用性,同时更好地满足个人偏好与任务需求。此外,一些EUD工具仍依赖专业级的开发环境。例如,INTERACT就是作为Unity插件实现的[31]。虽然这类方法降低了编程门槛,但开发者仍需面对Unity、Unreal Engine或Godot等游戏引擎所固有的复杂工作流程与界面。这些环境可能限制非专业用户的操作体验,进而影响EUD工具的实际应用范围。在创建交互式VR场景方面,许多现有工具主要支持静态场景的构建[14, 21, 22, 28]。相比之下,那些明确支持沉浸式交互——包括对象操作及基于行为触发的动作——的研究则证明了通过EUD方法创建复杂、类似游戏的VR体验是可行的[4, 31, 32, 34, 35]。在EUD工具中实现人类之间的协作已有十余年的研究历史[1]。先前的研究指出,此类协作能带来即时反馈、共同理解以及提升创意任务中的迭代效率等好处[29, 30]。在沉浸式环境中,实时协作对创意设计与空间设计任务尤为重要[11, 13, 20, 25]。相比之下,将人工智能整合到协作式VR创作中的研究还相对较少。虽然关于VR中智能代理的概念性讨论已经存在数十年[17],但只有随着人工智能技术的进步,相关实用化方案才得以实现。目前的大多数研究仍处于概念层面,探讨人类与AI的协作关系[8, 12, 17, 19, 26]。在那些实现了人类与AI协作的系统中,也没有任何系统同时支持人类之间的协作,且所有系统都仅聚焦于基于VR的交互方式,不支持PC端操作[5, 7, 27, 36]。根据研究主题,我们将前述各类成果分为四类:终端用户开发、创作工具、协作以及人工智能。表1中的功能支持矩阵展示了各类成果所具备的功能,我们根据功能是否已完全实现、仅处于概念讨论阶段或完全未被纳入来进行区分。总体而言,我们的综述表明,目前还没有任何系统能够同时具备以下功能:(1)交互式VR内容的终端用户开发;(2)实时的人类之间协作;(3)人类与AI的协作;(4)跨PC端与VR端的统一创作功能。这一空白为协作式VR EUD工具留下了大量未探索的研究空间,而我们的这项工作正是为填补这一空白而开展。表1.类别 成果 功能 设备支持 内容 协作 PC端 XR端 静态 交互 人类-人类 可选 EUD Deering [9] –??––– Thalen and van der Voort[30] –???–– Svidt and S?rensen[29]?????– Zarraonandia et al. [34] –???–– Zarraonandia et al. [35] –???–– Garzotto et al. [10]?–??–– Yigitbas et al. [32]?–??–– Artizzu et al. [4] –???–– Artizzu et al. [3]????–? Artizzu [2] –???–– 创作 Nebeling et al.[22]????–– Nebeling and Madier[21]????–– Speicher et al. [28]????–– Leiva et al. [14]???––– Thandapani et al. [31]?–??–– 人类 Ahmadi et al. [1]?–???– Zaman et al. [33]–??–?– Peters et al. [24]––––?– Coelho et al. [6]?–???– Nebeling et al. [20]–??–?– Pidel and Ackermann[25]––––?– He et al. [11]––???– Kozma et al. [13]––???– Paulsen and Davidsen[23]––?–?– 人工智能 Luck and Aylett[17]–?–––? Koch [12]–––––? de Oliveira et al. [8]–?–––? Nah et al. [19]–––––? De La Torre et al. [7]–???–? Sahebnasi et al. [27]–??––? Zhang et al. [36]–??––? Puerta-Beldarrain et al. [26]–––––? Carcangiu et al. [5]–???–? 相关工作的功能支持矩阵 ? 支持 ? 讨论中 – 不支持 3 构思与实现 Co-VREUD的设计与实现旨在实现跨不同设备及协作模式的交互式VR环境的协作式EUD功能。具体而言,该系统可在统一的编辑环境中支持沉浸式与非沉浸式创作、实时人类之间协作以及人类与AI的协作。Co-VREUD的源代码可在线获取1。与从头开始开发新系统不同,Co-VREUD是在现有的基于Web的EUD工具VREUD的基础上进行扩展实现的[32]。这一决策使我们能够在成熟的非代码式交互式VR应用创作环境基础上进行开发,同时将精力集中在协作机制与沉浸式交互功能上。不过,由于VREUD最初并非为协作或VR创作而设计,这种方案也带来了一些架构上的限制,因此所有的扩展设计都在尽量保持与原有编辑器功能一致的同时,减少对其原始架构的改动。图1展示了Co-VREUD的概念架构,包括各组成部分所使用的技术。该架构体现了VREUD的基于实体的设计理念,即所有场景元素——如场景几何体、3D模型、光源或交互元素——都被视为实体。这些实体及其所有修改内容都会在所有连接的客户端之间同步,而客户端指的是PC或VR设备上的网页浏览器。实体的同步工作由服务器负责处理,服务器还会将客户端发送的任何API请求转发给相应的服务API——比如人工智能服务——并返回响应结果。接下来的章节将围绕RQ1的要求,详细介绍各个组成部分,重点阐述设备支持、VR创作功能以及协作机制。图1.Co-VREUD的概念概览 3.1 设备支持 Co-VREUD被设计为一个跨设备的系统,用户既可以通过传统桌面环境创作VR环境,也可以直接在VR环境中进行创作。这两种模式都被视为同等重要的界面形式,而非主次之分。这样的设计让用户可以根据任务需求、个人偏好或使用便利性等因素选择合适的设备。图2和图3展示了Co-VREUD在支持设备上的用户界面截图。PC端界面在很大程度上沿用了VREUD原有的界面设计,因此仍采用面板式布局,仅有左下角的AI面板是Co-VREUD新增加的。这些面板分别用于:a)向场景中添加新实体(添加面板);b)通过调整实体的位置、旋转和缩放来排列场景中的元素(视图面板);c)查看场景中所有现有实体的概览(场景图谱);d)与人工智能助手进行交流(AI面板);e)获取特定实体的详细信息(详情面板);f)通过为实体添加交互功能使其具备交互能力(交互面板)。相比之下,VR端界面不会同时显示所有界面元素,而是将各个面板置于独立的标签页中,这样可以降低VR环境中的界面复杂性。图2.Co-VREUD的PC端编辑器界面 总体而言,Co-VREUD采用客户端-服务器架构,服务器负责会话管理、信号传输以及与外部服务的集成,而所有的创作功能则是在客户端侧执行的。客户端既可以运行在传统的桌面浏览器中,也可以通过支持WebXR的VR浏览器来运行。这两种版本拥有相同的数据模型和编辑逻辑,因此无论在哪个设备上进行的修改都能在其他设备上立即同步。PC端界面会将所有面板同时显示在视图周围,便于用户直观查看,也能通过鼠标精确操控对象,还能使用实体键盘输入文本。而VR端界面则将相同的面板整合到附着在用户左手上的标签页式手部菜单中,这样虽然保持了视野的整洁,但需要通过切换标签页才能在不同功能之间切换。在VR环境中,直接操作对象更为自然,用户可以用一只手或两只手抓取、旋转和调整对象大小,但与基于鼠标的PC输入相比,其精度较低。这两种平台之间的主要差异源于WebXR运行时:在VR中,文本输入依赖于语音识别,因为虚拟键盘不适合输入较长的文本;此外,由于WebXR目前不支持设备的原生文件选择器,用户必须从同一会话的PC客户端上传媒体文件。
表2. 功能对比
PC界面 VR界面
布局 视口周围的多个面板(参见图2) 世界内的标签式手势菜单(参见图3)
导航 鼠标+WASD键 操纵杆控制移动+身体移动
对象选择 鼠标点击和双击 控制器射线指向+索引触发器
对象变换 通过鼠标操作操纵杆 直接用中间触发器进行单/双手抓取
文本输入 实体键盘 仅语音转文字(虚拟键盘不实用)
文件上传 原生浏览器文件选择器 不支持(WebXR限制;必须从PC客户端上传)
AI辅助 通过AI面板提供文本或语音提示 通过手势菜单的AI标签提供语音提示
Co-VREUD的PC界面与VR界面之间编辑功能的对应关系。
3.2 基于VR的创作
通过基于WebXR的VR界面,可以实现沉浸式创作。VREUD现有的3D场景表示方式已被调整,以便在桌面端和VR环境下运行,从而支持多用户协作,或让单个用户在不同设备间切换的同时继续处理同一环境。由于VREUD与更现代的WebXR版本存在兼容性问题,我们不得不设计自定义的移动系统和自定义UI元素。
VR编辑器支持空间导航、对象选择及变换(平移、旋转和缩放)。交互操作基于控制器,并采用射线选择机制,这与桌面编辑器的交互模式一致。这一设计是由于实现上的限制以及保持跨设备一致性这一目标所决定的。借助VR控制器的摇杆,自定义移动系统使用户能够探索比实际物理空间更大的环境。
VR用户界面以世界内的手势菜单形式实现,该菜单提供了核心编辑功能的访问入口,包括对象创建、属性编辑、任务与交互管理以及基于AI的辅助功能。图3展示了VR手势菜单及其主要组成部分。原本基于PC的(Co-)VREUD界面的每个标签都会显示在菜单顶部,方便用户快速切换应用程序的不同视图。左侧和中间图片展示的是“添加”面板,用户可通过它向场景中添加新对象;右侧图片则为“详情”面板,用于获取场景中已选对象的详细信息。这些面板都可以通过VR设备的手势控制器进行操作。
图3. Co-VREUD的基于VR的编辑器界面
3.3 人与人协作
Co-VREUD中的人与人协作设计为实时同步的。多名用户可以连接到同一个编辑会话,实时查看彼此所做的更改。
这种协作基于VREUD的基于对象的架构。所有用户操作都以遵循CRUD(创建、读取、更新、删除)模型的结构化事件形式体现。当用户执行某项操作时,相应的事件会被序列化并传输给其他连接的客户端,在那里被本地应用以实现相同的更改。
为尽量减少架构上的改动,同步功能通过WebRTC在客户端之间实现点对点通信。服务器仅充当信号传递组件,不处理创作数据。我们特别注重区分本地生成的事件和远程接收的事件,以避免反馈循环和状态传播不一致的问题。这种基于事件的同步机制为人与人协作以及人与AI协作奠定了基础。
在实际应用中,要启动协作会话,需在共享同一局域网并连接至相同服务器端口的PC和VR设备上分别打开Co-VREUD,然后通过WebRTC信号通道加入同一个会话。由于Co-VREUD是一个研究原型,我们有意简化了会话管理,未纳入用户账户、邀请功能或保存的会话ID等功能,这样就能将研究重点放在编辑体验本身而非会话管理上。在用户研究中,这意味着在人与人协作模式下,两名参与者始终处于同一个物理空间内(参见图5),一人使用PC,另一人使用VR设备,他们除了依靠3D环境的共享编辑状态外,还可以通过交谈进行自由协调。
3.4 人与AI协作
人与AI协作是通过类似OpenAI的ChatGPT或Google的Gemini的聊天式方式实现的,其中AI扮演的是协作伙伴的角色,而非自主智能体。用户可完全掌控编辑过程,通过文本输入或语音识别提交的自然语言指令来明确启动AI操作。AI不会独立修改环境,只会根据用户输入采取相应行动。
对于Co-VREUD,我们使用了OpenAI的API,并选择了gpt-4.1模型,因为它在模型能力与成本之间取得了良好的平衡,同时还能满足我们研究的性能要求。我们特别利用了该API的结构化输出功能,它能按照预定义的JSON格式返回响应。
集成过程采用两阶段提示策略。第一阶段调用会将完整场景状态——包括所有对象及上传的媒体文件(图片、视频、PDF、模型)——以JSON格式序列化,并指示模型以场景编辑器的身份工作。系统消息的简化版本见列表1。模型在收到提示后,还会获得一组描述所有允许编辑操作的预定义工具。其中一个工具的简化内容见列表2。模型会回复一个或多个结构化的工具调用,这些调用会被转化为事件,通过与人类操作相同的基于CRUD的事件处理流程进行处理,从而确保两种协作模式的一致性。
第二阶段调用会生成AI所执行操作的自然语言总结,该总结会以聊天形式展示给用户(参见图4)。此阶段对应的系统消息见列表3。由于OpenAI的结构化输出不支持附带自由文本内容,因此这个总结需要通过单独的请求来生成。这第二阶段调用也是导致响应延迟的主要原因。理论上,将两个阶段合并为一次调用可以消除这种开销,但在实际实现时,使用所选的模型往往无法做到这一点——总结生成过程常常会破坏结构化的工具调用输出。因此,我们选择了接受额外的延迟,以换取可靠的结构化输出和清晰的用户反馈。未来的系统版本可以通过优化UI更新来减少感知到的延迟,即在工具调用到达后立即将其应用到本地场景中,之后再显示总结;或者通过任务队列将编辑流程与总结生成完全分开。
图4展示了在桌面端和VR环境中输入AI提示的不同界面。虽然两者的设计和功能大致相同,但VR用户无法通过键盘输入提示语。做出这一设计的原因是,使用虚拟键盘输入较长文本通常不如使用实体PC键盘方便,这也是引入基于语音的文本输入功能的主要动机。
图4. AI面板的使用
4 评估
我们采用了2×2因子设计的对照组间用户研究方法。自变量为协作类型(人与人 vs. 人与AI)和创作平台(基于PC的编辑器 vs. 沉浸式VR编辑器)。
由此产生了四种实验条件:HHC-PC、HHC-VR、HAIC-PC和HAIC-VR。我们选择组间设计是为了避免长时间的多条件实验、减少疲劳,并确保各组之间的任务难度一致。因此,每位参与者只参与一种条件下的实验。
研究是同步进行的,且为面对面形式。在人与人协作模式下,两名参与者在同一个物理空间内共同工作,一人使用基于PC的编辑器,另一人使用基于VR的编辑器。在人与AI协作模式下,参与者则独自使用集成式的AI助手进行操作。
4.1 任务
参与者们使用Co-VREUD共同打造一个关于露营主题的小型互动VR展览。任务设置借鉴了以往关于VR创作和协作的研究成果,旨在体现现实中的最终用户开发活动,且任务难度逐渐增加。最初的几项任务会提供详细的逐步指导,帮助参与者熟悉编辑器,而后续任务则仅描述期望的结果,要求参与者自行决定实现方法以及如何与搭档协调。所有参与者都从相同的预设场景模板开始,每项任务都会配有书面说明。这六项任务的具体安排如下:
(1) 清理虚拟环境。参与者通过从初始场景中移除不必要的物体——地面上的导航网格、房间角落里的桌椅以及厨房区域的植物——来熟悉导航、对象选择和删除操作。
(2) 修改虚拟环境。参与者需要调整现有对象,为下一步要添加的露营车准备舞台。具体操作包括将舞台的宽度和深度均扩大到11米×9.2米的目标尺寸,同时保持0.4米的高度不变;调整舞台楼梯的位置和方向,使其紧贴着面向开放空间的舞台侧面;最后调整玩家的位置和方向,使其从房间内的某个空处面对舞台。
(3) 添加对象并进行空间调整。参与者需要在准备好的舞台区域添加多个内容对象。他们需要上传并放置两张图片作为舞台两侧墙上的海报,将一份PDF演示文稿放置在沙发前的屏幕上,将一段视频放置在沙发旁的墙上,还将一个由.gltf、.bin和.png纹理文件组成的glTF格式露营车模型放置在舞台中央。每个上传的对象都需要经过移动和缩放,以适配其目标位置。
(4) 在逐步指导下添加交互功能。参与者需按照详细的逐步指导创建两种简单的交互效果。第一种交互功能是通过鼠标点击来启动和停止视频播放,而第二种则是通过鼠标点击将演示文稿翻到下一页。这两种交互都是通过(Co-)VREUD的“事件-条件-动作”接口创建的,操作方法是选中目标对象,选择相应的事件、目标和效果,然后确认新的交互功能。
(5) 在无指导情况下添加交互功能。参与者需要创建两种更复杂的交互功能,仅通过描述期望的行为来实现,无需逐步指导。第一种交互需要一个按钮,按下时播放视频,松开时停止播放,这通常需要添加一个按钮对象,并结合按压和释放事件对应的两种交互功能。第二种交互要求当玩家进入沙发与屏幕之间的区域时,演示文稿出现并重置,而当玩家离开该区域时,演示文稿再次隐藏,这通常需要结合多个与特定空间区域相关的交互功能。
(6) 应用全部功能集。参与者需要利用Co-VREUD的任务系统创建一个面向玩家的名为“完成所有任务”的任务,该任务包含两项活动——“前往厨房”和“前往舞台”。他们还需要移动和缩放相应的活动区域,使其覆盖厨房和舞台区域,添加一个任务栏对象,将新任务附加到该对象上,最后将任务栏放置在厨房入口旁的墙上。
参与者通过自我报告来完成任务:每完成一项任务后,参与者会保存项目,研究人员则会记录下所花费的时间。随后研究人员会检查保存的场景,确认所有参与者至少已经基本完成了每项任务;诸如定位或缩放不够精确之类的细微偏差也被视为已完成。参与者可以取消当前任务并继续进行下一项任务,但实际上没有参与者选择这样做。需要指出的是,自我报告的完成标准相比逐一检查每个子步骤要宽松一些,我们将在6.3.4.2节探讨这一标准的含义。
4.2 参与者
共有32名参与者参与了这项研究,他们平均分配在四种实验条件下,每种条件8人。参与者是通过个人人脉以及在我们研究小组和工作场所的学生与员工中公开招募而来的,他们拥有多样的技术背景。所有参与者都具有足够的英语水平以完成这项研究。由于Co-VREUD被设计为无代码创作工具,因此编程经验既非必需,也无法有效预测完成任务所需的技能。相反,我们询问了参与者在与Co-VREUD创作最为相关的四类技术方面的先前经验:EUD工具、3D编辑器、基于AI的助手以及VR技术。自我报告的答案见5.2节,并在图9中以可视化形式呈现。在“人与人”协作模式下,参与者往往事先相互认识,这反映了实际中的真实协作场景。
4.3 研究流程
我们在2025年9月的前三周(2025年9月1日至21日)进行了这项研究,共有32名参与者参与了24次研究 session,其中一些 session是两人一组进行的。每次研究 session都遵循相同的结构:首先向参与者介绍研究目的和流程,并在参与前获得书面同意。签署同意书后,参与者会先简要了解Co-VREUD的功能,然后有时间自由探索其特性。为了确保不同平台上的参与者都能有相似的熟悉过程,我们没有使用内置教程。随后,参与者在指定的条件下完成创作任务。在“人与人”协作模式下,参与者可以自由地与搭档合作;而在“人机”协作模式下,参与者则被鼓励在完成任务时根据需要使用AI助手。图5展示了在我们的用户研究中两位愿意同意将照片放入本文的参与者。
图5. 用户研究中的“人与人”协作组参与者
完成任务后,参与者填写了关于协作体验和偏好的问卷。我们感谢他们的贡献,并赠送了糖果作为对他们参与研究的小小感谢。
4.4 测量指标
为了从研究中获得有意义的结果,我们收集了一组针对性的测量指标。这些指标既包括用于回答研究问题的量化数据,也包括反映参与者任务完成效率以及他们对协作质量感知的数据。图6直观展示了研究过程中收集的测量指标及其所属变量。在量化数据方面,我们记录了完成指定创作任务所需的时间。任务完成时间反映了每种协作模式下的整体效率,既可按单个任务计算,也可总体计算。此外,为了评估协作质量,我们使用了合作伙伴建模问卷(PMQ)。该问卷在以往的研究中被用于评估协作互动情况,能够反映参与者对协作对象的看法。虽然该问卷最初是为评估AI协作伙伴而设计的,但同样适用于人类,因此非常适合在统一的评估框架内比较“人与人”协作与“人机”协作。完成任务后,参与者还提供了主观评分,说明他们对协作模式(“人与人” vs “人机”)及创作平台(PC vs VR)的偏好。最后,我们还通过开放式问卷回复以及研究过程中的观察来收集定性数据。这些定性指标为我们更深入地了解参与者的协作策略、协调方式、对人类与AI协作者角色的认知,以及对我们的工具的整体反馈提供了依据。定性数据有助于对量化研究结果进行背景补充和解读。
图6. 用户研究中所收集测量指标的概览
4.5 数据分析
量化数据采用适合被试间设计统计方法进行分析。根据数据分布和方差同质性情况,分别运用参数检验或非参数检验。我们的所有分析均以α =.05作为显著性水平。定性数据则通过主题分析法进行分析,重点关注与协作策略、协调方式以及對人类与AI协作者认知相关的模式。
5 研究结果
基于我们的研究问题以及之前关于VR EUD的研究成果,我们提出了若干假设,用以指导研究的实证分析。这些假设主要涉及用户对设备类型和协作伙伴的偏好:
H1:在共同创建交互式VR环境方面,最终用户更倾向于“人与人”协作而非“人机”协作。
H2:在共同创建交互式VR环境方面,最终用户更喜欢基于PC的编辑器,而非基于VR的编辑器。
尽管AI系统取得了显著进展,但我们仍认为,在VR EUD领域,最终用户依然会更青睐人类协作者而非AI助手。虽然AI系统能够有效辅助执行各项操作,但在EUD领域的协作往往需要双方对目标有共同的理解,并明确意图。而基于AI的协作通常依赖用户提供的指令,这些指令可能被误解,从而导致错误结果并让用户感到沮丧。同样,尽管沉浸式VR技术近年来已发展成熟,但我们仍认为,基于PC的创作方式仍是开发VR环境的优选方法。基于VR的编辑允许用户在创作过程中以第一人称视角体验目标环境,但它也带来了交互精度、输入效率以及体力消耗等方面的挑战。因此,我们推测,即便目标是创建沉浸式VR环境,基于PC的工具也能提供更为便捷且易于控制的创作体验。以下各小节将汇报用户研究在参与者特征、任务表现、协作质量感知、协作与设备偏好以及定性观察等方面的结果。
5.1 参与者
共有32名参与者参与了这项研究。他们的年龄在18至56岁之间(平均年龄=30.0岁,标准差=11.92岁,中位数=25岁)。不同协作模式下的年龄分布存在轻微差异,尤其是在“人与人”协作组中,因为该组的参与者可以自行决定谁使用VR设备、谁使用PC。在所有的“人与人”协作对中,年龄较小且技术经验更丰富的参与者会选择基于VR的编辑器,而年龄较大的参与者则使用基于PC的编辑器。参与者的年龄分布见图7。
图7. 参与者的年龄分布
在性别方面,20名参与者(62.5%)为男性,12名(37.5%)为女性。不同研究条件下的性别分布较为均衡,如图8所示。
图8. 参与者的性别分布
5.2 先前经验
由于Co-VREUD是一种无代码创作工具,我们并未询问参与者的编程背景,而是调查了与创作最为相关的四类技术:EUD工具、3D编辑器、基于AI的助手以及VR技术。参与者表示,他们在与研究任务相关的EUD工具和3D编辑器方面的先前经验十分有限,大多数人表示几乎没有相关经验。相比之下,大多数参与者表示至少有一些使用AI工具和虚拟现实技术的经验。这表明,虽然许多最终用户对VR创作工具仍不熟悉,但AI辅助交互和沉浸式技术正逐渐被更多人采用。图9展示了参与者在这些相关技术方面的经验水平。
图9. 参与者在相关技术方面的先前经验
5.3 任务表现
我们以任务完成时间作为衡量协作表现的指标。由于“人与人”协作模式下的参与者是两人一组工作,因此每组中使用PC和VR的参与者完成时间相同,故将其视为一个整体“人与人”协作组进行分析。于是,我们比较了三种协作模式下的表现:“人与人”、“人机+PC”以及“人机+VR”。部分单个任务存在显著差异,但整体任务完成时间并无显著差别。单个任务和总任务完成时间见图10。
图10. 任务完成时间
任务1:克鲁斯卡尔-沃利斯检验显示不同协作模式之间存在显著差异(p =.03)。事后比较显示,“人机+PC”模式下的参与者所需时间明显长于“人与人”模式下的参与者(p =.005),而“人与人”与“人机+VR”模式之间的差异则不太明显(p =.055)。观察结果表明,“人与人”模式下的参与者得益于任务分工,而“人机”模式下的参与者往往需要等待AI响应,而无法独立推进任务。
任务2:研究发现存在显著的组间差异(p =.02),无论是“人机+PC”模式(p =.021)还是“人机+VR”模式(p =.006),其任务完成时间都快于“人与人”模式。定性观察表明,对于这个任务,“人与人”协作组内部需要更多的协调努力和错误纠正,从而导致完成时间更长。
任务3:单因素方差分析显示,协作模式存在显著影响(p =.017)。事后分析显示,“人机+VR”模式下的参与者完成时间明显长于“人与人”模式下的参与者(p =.013)。这可能是由于在AI生成的操作之后,还需要进行细致的手动调整,而在没有人类搭档的情况下,这种调整在VR环境中更为繁琐。
任务4–6:对于任务4、5和6,不同协作模式之间均未发现统计学上的显著差异。
整体表现:将所有任务的完成时间汇总后,不同协作模式之间也无显著差异(p =.78)。这表明,虽然协作模式会影响特定任务的完成效率,但并不会显著影响整体任务完成时间。
5.4 协作质量感知
我们使用合作伙伴建模问卷(PMQ)来评估协作质量。不同协作类型下的PMQ得分存在显著差异。在所有协作模式下,PMQ的平均得分均为4.55分(标准差=1.64,中位数=4.39分)。“人与人”协作模式下的参与者报告的PMQ得分始终高于“人机”协作模式下的参与者。值得注意的是,即使“人机”协作模式下的最高得分,也低于“人与人”协作模式下的最低得分。克鲁斯卡尔-沃利斯检验显示,协作类型存在显著的主效应(χ2(1) = 22.51,p <.001),表明“人与人”协作的评分明显高于“人机”协作。设备类型的主效应则不显著(p =.353),这说明在PC和VR环境下,协作质量的感知程度相近。事后分析进一步证实,“人与人”与“人机”协作之间存在显著差异(p <.001)。与能力、可预测性和效率相关的评价项在区分人类协作者与AI协作者方面具有特别重要的影响。相比之下,与类人性和真实感相关的评价则普遍较低,这也在预期之中。总体而言,这些结果与H1假设一致,即从协作质量感知的角度来看,人们明显更倾向于“人与人”协作而非“人机”协作。
5.5 协作与设备偏好
参与者表现出对人类协作者的强烈偏好。总体而言,84.4%的参与者更喜欢“人与人”协作,只有15.6%的参与者倾向于与AI协作。所有偏好与AI协作的人均参与了“人机”协作模式。这些结果为H1假设提供了有力支持。同样,参与者绝大多数更喜欢在PC上创作(87.5%),而非在VR环境中创作(12.5%)。所有偏好VR创作的参与者都参与了“人与人”协作模式,这表明人类协作者的存在或许能够缓解基于VR的创作所带来的种种挑战。这一偏好模式也支持了H2假设。
图11. 参与者的协作与设备偏好
5.6 定性观察
定性反馈为量化结果提供了背景层面的解释。参与者经常将人类协作者描述为适应能力强、工作效率高,且能够在遇到交互难题时加以弥补,尤其是在VR环境中。相比之下,AI协作者则常被认为灵活性不足、反应较慢,且在出现部分正确操作后无法在没有人工干预的情况下自行修正。一些参与者指出,AI辅助功能在生成初始内容方面很有帮助,但在进行精细调整或多步骤任务时效果较差。尽管存在这些局限性,仍有一些参与者认可自然语言和语音交互的优势,尤其是在VR环境中,他们同时认为,随着技术的进一步改进,AI辅助创作具备很大的潜力。总体而言,定性反馈与量化研究结果相呼应,说明了协调性、响应速度和适应性方面的差异如何影响参与者的协作体验。
6 讨论
以下讨论将在VR领域协作式EUD的更广泛背景下解读研究结果。首先,我们将总结有关效率、协作质量、用户偏好以及观察到的协作行为等方面的主要实证发现。基于这些发现,我们将进一步探讨对协作式VR EUD工具设计的启示。最后,我们会分析可能影响研究有效性的因素,以便更透明地解读研究结果。
6.1 研究发现
效率与任务表现:在所有研究条件下,不同协作类型或设备类型之间的总任务完成时间均无显著差异。虽然某些任务层面存在差异,但这些差异并不一致,也没有为“人与人”或“人机”协作,或是基于PC或VR的创作带来明显的效率优势。这些结果表明,VR EUD中的协作并不一定能够提升效率,而是影响着工作的组织方式和协调方式。在“人与人”协作中,参与者常常会划分子任务、协商职责,并互相纠正错误,这虽然会增加沟通成本,但同时也提升了灵活性。在人类与人工智能的协作中,效率会受到编写提示语及等待系统响应的影响,这些因素有时会抵消自动化带来的时间节省。总体而言,这些研究结果表明,仅以效率作为评估协作式EUD工具的标准是不够的,性能差异更多地是由互动动态而非协作本身所决定的。协作质量方面,不同类型的协作在质量感知上存在显著差异。参与者在PMQ评估中始终认为人与人之间的协作优于人与人工智能的协作。人类协作者被认为更具备能力、更可靠且更可预测,而人工智能协作者则常被觉得反应较慢、响应不足。这些结果有力地支持了H1假设,即人们明显更倾向于选择人类协作者而非基于人工智能的协作伙伴。重要的是,这些差异与设备类型无关,表明协作质量主要取决于协作者的特性,而非创作是在电脑上还是虚拟现实中进行。这些发现凸显了当前人工智能助手在创意性、探索性创作任务中作为协作伙伴的局限性。尽管人工智能能够执行指令,但它缺乏参与者期望的适应性行为和即时响应能力。不过,我们需要指出,人类与人工智能评分之间的差距大小在一定程度上取决于我们所使用的具体原型和样本。人类协作者是否被认为更具能力,不仅取决于其知识水平、沟通风格及共同背景,还与所使用的人工智能集成方式有关——在本研究中为一种反应式的两阶段GPT-4.1流程,其明显的延迟和缺乏主动性是人们最常提及的缺陷。如果采用功能更强的模型、更紧密的反馈循环或混合主动性的集成方式,这些评分很可能会发生变化。因此,我们将偏好方向(偏向人类)视为更为可靠的结论,而评分差距的大小则视作受这些因素影响的体现。在协作偏好方面,参与者的选择与他们对协作质量的评价高度一致。绝大多数人更愿意与他人协作而非与人工智能助手合作。这一偏好在各种研究条件下都保持一致,进一步强化了对H1的支持。定性反馈还表明,尤其是在处理错误、模糊情况或协调难题时,人们认为人类协作更为自然高效。在设备偏好方面,参与者也表现出明显的倾向,大多数更青睐基于电脑的编辑器而非基于虚拟现实的编辑器。这些结果支持了H2假设,即目前终端用户更倾向于使用基于电脑的界面来进行虚拟现实协作创作。值得注意的是,只有在与他人协作的环境中,才出现对虚拟现实创作方式的偏好,这表明人类协作伙伴的存在或许能缓解沉浸式创作带来的一些问题,比如精度下降或交互成本增加。在观察到的协作行为方面,人与人协作时呈现出独特的协作模式。参与者会在主动与被动角色之间、以自我为中心与利他主义的任务分配策略之间动态切换。这些行为并非固定不变,而是会根据所感知的专业能力及任务需求在不同的任务和协作阶段发生变化。图12根据用于分配子任务的常见表述,展示了这两种行为维度在参与者互动中的体现。图12. 人与人协作条件下的协作特征。与人工智能的互动方面,尽管总体上人们更喜欢人类协作,但他们对人类与人工智能互动的某些方面仍持积极态度,尤其是基于语音的输入方式。在虚拟现实环境中,语音指令常被描述为自然且富有表现力。然而,参与者也抱怨人工智能响应速度较慢,以及需要将任务拆分成多个提示语。这些观察表明,虽然自然语言输入降低了互动门槛,但在虚拟现实中实现有效的人类与人工智能协作,还需要更紧密的反馈循环以及逐步执行任务的能力。6.2 对设计的启示本研究的结果为设计协作式虚拟现实EUD工具提供了若干启示。首先,不同协作模式之间并未体现出效率提升,这说明不能仅仅以性能改进作为采用协作的理由。相反,设计工作应侧重于支持协调、共同理解及错误恢复,这些都是成功实现人类间协作的关键要素。其次,人工智能协作者应被设计为具有混合主动性的合作伙伴,而非单纯的指令执行者。我们原型中的人工智能仅能做出反应式操作:除非收到提示,否则不会改变场景,也不会提出建议,更不会指出当前环境存在的问题(参见第3.4节)。尽管如此,仍有部分参与者期望人工智能能够主动行事、适应情境并处理提示语中的模糊之处。因此,下一步应是朝着混合主动性互动方向发展,让人工智能能够提出场景优化建议,在用户提出请求后提出后续行动方案,或指出问题(如重叠的实体或指向缺失目标的交互),由用户决定是否采纳。这一方向与Koch关于协作式人工智能系统的框架相契合,该框架将共享任务理解、适应性及反馈视为有效人类与人工智能协作的核心要素[12],同时也能弥补参与者所期望的被动集成模式中的主动性问题。未来的系统或许还能从更为聚焦的对话以及逐步执行任务的方式中受益,这类方式能为用户提供比当前“请求-总结”循环更为紧密的反馈。最后,基于虚拟现实的创作应被视为对基于电脑创作的补充,而非替代品。虽然沉浸式视角有助于空间理解,但精确编辑和快速迭代在电脑上被认为更为容易实现。因此,能够实现设备间无缝切换的混合工作流可能尤为有效。6.3 效度威胁与控制与任何受控用户研究一样,我们的评估设计和实施过程也可能对结果的有效性构成威胁。为确保对我们研究结果的解读具有透明度,我们从内部效度、外部效度、构念效度和结论效度等方面探讨了这些限制因素。以下各小节将阐述可能影响参与者行为、测量精度及结果普遍适用性的各类因素。6.3.1 内部效度内部效度面临的最大威胁来自人与人协作条件下的角色分配方式。由于我们让每对参与者自行决定谁使用电脑编辑器、谁使用虚拟现实编辑器,角色选择是基于参与者自身的特征而非随机分配的。这种选择效应在我们的数据中表现得十分明显:在所有八对参与者中,每对中年龄较小且自称技术经验更丰富的参与者选择了虚拟现实编辑器,而年龄较大、技术经验较少的参与者则选择了电脑编辑器。因此,在人与人协作条件下归因于设备的任何效果,实际上都混杂了年龄和先前经验的影响;而归因于人类协作因素的效果,则可能部分反映了团队中技术经验更丰富的成员使用了要求更高的界面。这一偏差在我们关于偏好结果的讨论中也有体现(参见图11,所有偏好虚拟现实的参与者均来自人与人协作组),我们现在认为这是该研究的一个系统性发现,而非次要问题。未来的研究应采用可控的角色分配方式——要么完全随机分配,要么根据年龄和技术经验进行平衡——从而在虚拟现实协作式EUD研究中区分设备效应与参与者特征。此外,任务完成情况是由参与者自行报告的,之后由研究人员通过查看保存的场景来进行核实(参见第4.1节)。虽然没有参与者选择跳过某项任务,且一些细微偏差,如定位不精确,也被视为任务已完成,但如果对每个子步骤都进行更严格的检查,得到的完成时间数据可能会有所不同。任务完成时间本身也是通过手动测量的,这又会引入一些我们无法完全消除的测量误差。6.3.2 外部效度本研究仅采用了有限数量的参与者,且研究内容集中在简短的单次创作任务上。现实世界的EUD应用场景可能涉及更大的团队、更复杂的环境以及更长的协作周期。因此,这些研究结果可能无法完全适用于专业或长期的创作环境。此外,尽管参与者背景多样,但该样本可能无法完全代表目标用户群体——即终端用户开发者。技术能力或虚拟现实使用经验的差异可能会影响他们的行为和偏好。我们将那些我们认为具有广泛普遍性的发现,与那些与我们特定原型和样本相关的发现区分开来。在人与人协作条件下观察到的协作模式(主动/被动角色交替、自我中心与利他主义的任务分配方式)、协作带来的协调负担,以及人们更倾向于使用电脑而非虚拟现实、更喜欢与人协作而非与人工智能协作,这些都与之前关于协作式及沉浸式创作的研究成果一致[6, 11, 35, 36],很可能适用于类似的EUD场景。相比之下,具体的任务完成时间、人工智能与人类在PMQ评分上的差距大小,以及人们对人工智能协作者能力的评价,则与我们特定的实现方式密切相关——尤其是所选用的GPT-4.1模型、两阶段提示语生成流程、反应式互动模型,以及以学生和员工为主的样本群体。如果在这些方面有所改进——比如采用更快或功能更强的模型、实现单次请求即可获得结构化总结回复、优化用户界面更新,或如第6.2节所述采用混合主动性的集成方式——即便整体偏好方向可能保持不变,我们报告的数值也可能会出现显著变化。6.3.3 构念效度参与者在完成任务之前,只有有限的时间来熟悉系统。考虑到虚拟现实协作创作的复杂性,这可能会影响他们的表现和主观评价。如果能有更长时间的接触,他们可能会采用不同的协作策略并形成不同的看法。此外,Co-VREUD作为一个原型系统,是基于极为过时的库构建的。虽然前文已提到这一点,但它可能影响了Co-VREUD的稳定性,进而可能影响到参与者在研究期间的系统使用体验。6.3.4 结论效度相对较小的样本规模限制了统计效力,增加了第二类错误的风险。虽然我们观察到了与协作质量和偏好相关的显著效应,但一些较小的效应可能未被检测到。因此,应对这些结果谨慎解读。7 总结与未来工作本文研究了用于交互式虚拟现实环境的协作式EUD工具。尽管虚拟现实能够提供沉浸式体验并为内容创作带来新机遇,但目前的VR创作工具大多仍是单用户设计,且往往需要较高的技术水平。为填补这一空白,我们提出了Co-VREUD,这是一种对VREUD的协作扩展版本,能够支持多人共同创建基于网络的虚拟现实环境。Co-VREUD既支持基于电脑的创作,也支持基于虚拟现实的创作,同时还支持两种协作模式:人与人协作以及人与人工智能协作。通过系统的文献回顾我们发现,尽管已有研究探讨了基于虚拟现实的创作、协作以及人工智能辅助等方面的内容,但目前还没有任何系统能将这些功能整合到同一个EUD工具中。基于这些发现,我们设计并实现了Co-VREUD,它能够让协作者在不同设备之间共同设计交互式虚拟现实环境。该系统证明了实时同步创作操作以及在共享编辑环境中将人工智能助手作为协作伙伴整合进来的技术可行性。我们在一项受控的2×2被试间研究中对Co-VREUD进行了评估,比较了协作类型(人与人协作 vs. 人与人工智能协作)和设备类型(电脑 vs. 虚拟现实)。总体而言,参与者更倾向于在电脑上进行创作,这表明目前虚拟现实更适合作为终端用户开发的辅助平台,而非主要平台。虽然人工智能辅助在某些特定任务中被认为很有用,但参与者总体上更愿意与他人协作,而非与人工智能伙伴合作。在效率方面,协作由于沟通和协调的需要带来了额外的开销,导致任务完成时间变长。不过,不同设备类型之间的总任务时长并未显示出统计学上的显著差异。在人与人协作条件下的观察还揭示出一些反复出现的协作行为,这些行为的参与活跃程度各不相同。综合来看,这些研究结果表明,协作式虚拟现实EUD工具在技术上是可行的,但仍需进一步优化。我们的研究显示,这类工具目前可能更适合技术经验较丰富的终端用户开发者,而且人与人协作依然是最理想的协作方式。尽管如此,Co-VREUD仍然为系统研究虚拟现实终端用户开发中的协作类型和设备选择提供了新的研究平台,并为理解协作式虚拟现实创作的局限性与机遇提供了实证依据。不过,这项研究的结果也为未来的研究指明了几个有前景的方向。首先,未来的研究应纳入更多背景各异的参与者,以便更好地反映协作式EUD工具的目标用户群体。长期研究可以进一步探讨学习效果,以及随着对工具熟悉度的提高,用户对其可用性的认知如何变化。其次,未来的研究可以探索更大规模团队以及人类协作者与人工智能助手共同工作的混合协作环境。这类场景更能反映实际的开发工作流程,有助于明确人工智能作为辅助工具的角色,而非替代人类协作。最后,Co-VREUD的进一步发展应重点提升系统稳定性与交互设计,尤其是针对基于VR的内容创作。更新底层库、支持更自然的交互方式以及拓展人工智能功能,都能显著提升其可用性,让更多用户能够使用Co-VREUD。致谢:本项工作属于“SMART-EAT”项目的一部分,该项目由欧盟与德国北莱茵-威斯特法伦州经济事务、工业、气候行动与能源部共同资助,属于ERDF/JTF NRW 2021-2027计划的支持范围。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号