一种基于数据的方法,用于比较不同条件下的注视分配情况
杰克·普罗瑟(Jack Prosser)、
安娜·梅茨格(Anna Metzger)和
马泰奥·托斯卡尼(Matteo Toscani)
《Journal of Eye Movement Research》:A Data-Driven Approach for Comparing Gaze Allocation Across Conditions
Jack Prosser,
Anna Metzger and
Matteo Toscani
【字体:
大
中
小
】
时间:2026年03月20日
来源:Journal of Eye Movement Research 2.8
编辑推荐:
摘要:注视分析通常依赖于假设的、主观定义的兴趣区域(ROIs)或热图:ROIs有助于条件比较,但降低了客观性和探索性;而热图虽然避免了这一问题,但需要大量的像素级比较,使得差异难以检测。在这里,我们提出了一种先进的数据驱动方法来分析注视行为。我们使用DNNs(AlexNet的改进
摘要:注视分析通常依赖于假设的、主观定义的兴趣区域(ROIs)或热图:ROIs有助于条件比较,但降低了客观性和探索性;而热图虽然避免了这一问题,但需要大量的像素级比较,使得差异难以检测。在这里,我们提出了一种先进的数据驱动方法来分析注视行为。我们使用DNNs(AlexNet的改进版本)根据注视模式对条件进行分类,并结合反向相关性来显示不同条件下的注视差异。我们在一个实验数据上测试了我们的方法,该实验研究了特定对象的声音(例如教堂钟声)对注视分配的影响。基于ROI的分析显示,在有声音的条件(一致的声音、无声音、相位混乱的声音和粉红噪声)之间存在显著差异,在有声音的条件中,更多的注视被分配到与声音相关的对象上。然而,正如预期的那样,显著性取决于ROI的定义。热图显示了一些不明确的定性差异,但在校正了像素级比较后,这些差异都不显著。我们证明了对于某些场景,DNNs能够基于单个注视点以远高于偶然性的准确率对任务进行分类。我们的方法表明,声音可以改变注视分配,揭示出特定于任务的、非平凡的策略:注视点并不总是被吸引到声音源,而是会从显著特征处偏离,有时会落在显著特征和声音源之间。关键的是,使用传统的假设驱动方法无法揭示这样的注视策略。总体而言,该方法具有客观性、数据驱动性,并能够清晰地比较不同条件。
1. 引言
感知本质上是主动的。在视觉系统中,高分辨率的视觉仅限于中央凹。因此,我们移动眼睛将场景的相关部分带入焦点,以便进一步处理[1,2]。显著性指的是视觉刺激吸引注视的潜力。早期研究表明,显著性主要由自下而上的图像属性驱动,如强度、对比度、运动和格式塔属性,这些属性是在预先注意的情况下计算的,且与手头的任务无关[2,3,4]。然而,Yarbus的一项开创性研究表明,注视行为可以受到认知任务的影响[5]。后续研究扩大了影响显著性的更高层次、自上而下的因素范围。例如,研究表明任务要求和价值强烈影响注视[6,7,8]。此外,视觉系统以动态的方式将注视引导到与任务相关的特征——例如,颜色或运动诊断区域[9,10,11]。此外,显著性被认为在不同时间点依赖于不同的特征,后期的高延迟扫视是由任务驱动的,而初始的低延迟特征与任务无关[13]。
研究注视行为有不同的方法。在以前的工作中,通过比较眼动参数(如注视持续时间或扫视幅度)来研究不同条件之间的差异[14]。然而,这些方法通常会丢失关于注视的空间信息,或者至少是有限的。例如,Metzger及其同事[13]创建了刺激,将空间上感知相关的信息分离出来,以区分自下而上的和任务驱动的显著性。此外,Aizenman及其同事[15]表明,当参与者对虚拟对象的宽度或高度进行判断时,注视的水平和垂直扩散更高。Toscani及其同事[16]利用注视覆盖范围的分析还可以告诉我们注视分配的分布情况,以及它是多模态对象比较还是单模态比较的结果。为了进行这样的比较,有必要使用假设驱动的方式创建简化的刺激。然而,研究自然图像上的注视往往很有趣,因为它们可以揭示更符合生态学 validity 的视觉注意模式,更接近现实世界的感知。
传统上,对自然图像上的眼动分析集中在比较预定义的兴趣区域(ROIs)上的注视参数(例如注视次数)上。例如,End和Gamer[17]使用ROI分析来证明,当参与者被指示尽快检测人时,自然图像中社会元素(例如人的存在,特别是头部和眼睛)的显著性增加了。这项研究将社会特征放在其他可能分散注意力的高度显著特征中。然而,这种方法最近因其多个局限性而受到批评[18]。(1) 使用自然图像时,由于对象之间的距离不足或甚至重叠,往往不清楚哪些注视属于哪个对象。(2) ROI边界的定义通常是主观的,确实有可能影响结果,正如Orquin及其同事[19]系统评估的那样。(3) 为了获得详细的注视分配分析,这样的分析涉及多个ROI的比较,如果不进行校正,会提高假阳性的比率[18,20]。例如,Antúnez及其同事[21]进行了105次ROI之间的比较,以研究对食品标签的注意力分配。(4) 这种方法的另一个局限性是,它需要对特定任务中眼动的使用方式有特定的假设,并且不能揭示其他策略。例如,落在假设ROI之外的注视点通常被视为不相关的。然而,它们可能反映了通过最小化与中央凹的距离来同时检查图像上多个位置的复杂策略,从而实现了多个位置的最高可能清晰度[22]。
空间注视密度分布提供了一种数据驱动的方法来识别图像中最显著的区域。可以使用简单的阈值来定义ROI,选择高于某个注视频率的区域[23],或者通过聚类方法,这些方法在不依赖于任意截止值的情况下对附近的注视进行分组[24,25]。虽然这些方法可靠地突出了显著区域,但它们不能确保生成的ROI能够区分实验条件。因此,它们没有解决任意ROI选择的问题。在这里,我们提出了一种新的数据驱动方法来分析自然图像上注视分布条件之间的差异。该方法涉及训练一个监督式深度神经网络(DNN)根据注视分布来分类任务。高于偶然性的分类性能表明条件之间存在系统差异。然后我们使用图像分类方法[26,27,28]来图形化地可视化实验条件之间的注视分配差异。DNN被训练根据注视分布来分类条件,随机注视点来自任一条件。然后将这些注视分布分类为属于其中一个实验条件。对所有被分类为特定任务的注视分布进行平均,可以揭示该任务的分类图像。条件之间的分类图像差异使我们能够可视化每个条件的显著元素的空间差异。
我们在一个眼动追踪实验的注视数据上测试了这种方法,实验中参与者观看了包含发声对象(例如教堂钟声)的自然图像。我们研究了与图像中发声对象同时播放的声音是否会影响注视分配(即将其吸引到该对象),与无声音条件相比。有关不同感官中的显著性的文献有很多(例如[2,29,30])。已经显示出多感官交互效应,例如在外观上(例如,模糊图像的感知被转移到与同时播放的声音一致的物体上[31]);在精确度上(例如,当整合视觉和触觉的估计时,可以更精确地估计物体的大小[32]);以及在搜索促进上(例如,多感官线索改善了视觉目标检测[33])。然而,关于呈现给其他感官的信息如何影响注视分配的了解较少(但请参见Toscani及其同事[16])。
新方法提供的结果与传统的ROI分析和热图检查一致。然而,它是纯粹数据驱动的,并允许比较不同条件。此外,由于它不是假设驱动的,它可能提供关于不同条件之间注视策略差异的更丰富见解。
2. 材料与方法
2.1. 设计
实验采用了重复测量设计,包括两个独立变量:声音(一致的声音与无声音)和图像(10张图像),共20个条件。每张图像展示了5次,每次2秒。我们使用注视分布来预测每张图像的实验条件。
2.2. 参与者
最终样本由7名伯恩茅斯大学的本科生(5名女性)组成,年龄在18至22岁之间(平均年龄=21.60岁,标准差=0.49岁),通过SONA平台招募。最初招募了15名参与者;然而,由于研究中断或眼动追踪校准重复困难,有8名参与者被排除在分析之外。这是因为我们定期检查眼动追踪校准并在必要时重新进行(请参见第2.4节)。我们排除了校准误差超过0.5度视角的校准。在多次校准失败后,一些参与者退出了研究。所有参与者都对研究的特定目的不知情,并且视力正常或经过矫正至正常。由于我们希望将我们的新型基于DNN的方法与经典的基于ROI的因子设计进行比较,因此使用G*Power(版本3.1)分析[34]来确定样本大小。对于一个组四次测量的重复测量ANOVA,显著性水平α=0.05,期望的功效为0.8,以及较大的效应大小η2=0.14,所需的样本大小为6名参与者。招募了更多参与者以确保足够的实验完成。选择较大的效应大小是由于我们之前关于视觉显著性的研究,该研究表明任务对眼动分配有显著影响[13]。参与者提供了知情同意,并且他们的时间得到了每小时1个学分的经济补偿。该研究得到了伯恩茅斯大学伦理委员会的批准,并按照2013年赫尔辛基宣言进行。
2.3. 刺激
从公开可用的数据库[35,36]中选择了十个声音刺激:教堂钟声、鸟鸣、摇椅吱嘎声、掌声、硬币碰撞声、蝉鸣、直升机旋翼声、钟声、高跟鞋碰撞声、海浪拍打岸边的声音。声音被剪辑为两秒(与图像展示的持续时间一致),包含了目标对象最主观可识别的部分。对于每个声音,创建了一个相位混乱的版本,以测试声音的低级特征(如频率组成)是否可以解释对注视的潜在影响。声音的音量根据每个参与者进行了调整,以便他们能够清楚地听到和识别声音。在整个实验中,音量保持不变。对于每个声音,使用GenCraft(Image 2.0,https://gencraft.com/,一种基于AI的软件)生成了相应的彩色图像(图1)。为了研究声音对注视分配的影响,我们试图排除由于声音源的位置[37]或其低级或高级特征[2,38]而注视该声音的可能性,通过将其与其他高度显著的图像特征一起呈现。例如,对于教堂钟声,设计了一个场景,其中一名女性(高显著性水平)位于中心(显著位置)在一个野餐会上(低显著性水平),而教堂作为目标对象则出现在背景中。图像在屏幕中间展示2秒,背景为灰色(rgb = 0.5, 0.5, 0.5)。
2.4. 设置和眼动追踪记录
参与者坐在黑暗房间中的桌子前,面对一台1920×1080的显示器。头部位置通过下巴支撑器控制。观看距离为58厘米。我们使用了一台桌面安装的眼动追踪器(EyeLink 1000;SR Research Ltd., Osgoode, ON, Canada)以1000 Hz的频率记录注视位置信号。显示器是双目观看的,但只追踪右眼。我们在每次会话开始时进行了标准校准程序[39]。然后,在每次试验开始时检查校准。如果误差超过1.5度的视角,则重新校准;否则,应用漂移校正。在每次校准之后,我们都会进行验证程序。只有当验证结果显示平均误差低于0.5度视角(dva)时,校准才会被接受;否则,就需要重新进行校准。眼动数据使用标准的Eyelink算法进行分类:加速度阈值设为8000°/s2,速度阈值设为30°/s,以此来检测扫视动作;连续没有扫视动作的样本会被平均成一个注视点。图像显示在24英寸的BenQ XL显示器上(BenQ Corporation,台北,台湾),分辨率为1920 × 1080像素。图像以原始大小显示在屏幕中央。我们使用标准程序对显示器进行色彩校准[40,41],以线性化屏幕并确保显示正确的颜色。我们使用Spyder 4色度计(Datacolor,劳伦斯维尔,新泽西州,美国)测量了每个通道的伽马曲线和色度。我们的屏幕具有以下色度:红色主色CIE xyY坐标(x: 0.6413, y: 0.3274, Y: 57.61 cd/m2),绿色(x: 0.3104, y: 0.6256, Y: 256.98 cd/m2),蓝色(x: 0.1514, y: 0.0568, Y: 26.2 cd/m2)。红色、绿色和蓝色通道的伽马指数分别为1.913、1.567和2.096。
2.5. 程序
在每次试验之前,要求参与者注视屏幕上图像显示区域外的两个固定点之一(左侧或右侧),以确保第一次注视是有信息量的,并且不会受到试验之间固定点的影响[42]。一旦注视到位,参与者按下空格键开始试验。检查校准情况,必要时进行漂移校正或重新校准。在每次试验中,参与者会观看十张图像中的其中一张,根据条件不同,这些图像可能伴有声音或没有声音。每隔一张图像会显示在绿色背景上,以提示参与者判断这张图像是“旧的”(即之前展示过的9张中的某一张)还是“新的”(用左右箭头表示)。每张图像的展示顺序和条件对每个参与者都是随机的。每种条件下的每张图像都会展示5次。
2.6. 分析
2.6.1. 关注区域(ROI)分析
我们使用了两个10(图像)× 2(一致声音,无声音)的重复测量方差分析(ANOVA)来测试不同ROI内的注视频率差异。我们手动将ROI定义为围绕物体的椭圆(图2C)。我们没有简单地分割物体并将其表面作为ROI,因为由于眼动追踪和人类视觉系统的不准确性,注视点经常落在目标物体之外[18]。
图2. 热图和关注区域。(A) 一致声音条件下的热图,平均值在参与者之间;(B) 无声音条件下的热图,平均值在参与者之间;注视密度从无颜色到蓝色、黄色、红色逐渐增加。(C) 关注区域(ROI),较小的ROI用蓝色椭圆表示,较大的ROI用红色椭圆表示。(D) 通过分类图像分析得到的热图,蓝色表示负差异(即一致声音条件下条件诊断性注视较少),红色表示正差异(即一致声音条件下条件诊断性注视较多);颜色强度反映了差异的绝对大小。被红色方框包围的图像是我们能够使用基于DNN的方法根据注视点显著区分条件的图像。为了评估结果对ROI定义的小变化的鲁棒性,我们创建了每个ROI的较小版本和稍大版本。较小的ROI是通过使用MATLAB(R2025b,The MathWorks, Inc.,纳蒂克,马萨诸塞州,美国)的形态学操作侵蚀原始椭圆掩模得到的。具体来说,我们使用strel()函数创建了一个半径大约为0.78 dva的圆盘形结构元素,然后使用imerode()函数将其应用于ROI掩模,均匀缩小掩模边界。因此,每个外围点的较小椭圆比原始ROI小大约1.6 dva。对于每张图像,我们计算了每个参与者在ROI内的注视比例。这是ANOVA的因变量。我们进行了两次ANOVA,一次针对较大的ROI,一次针对较小的ROI。
2.6.2. 基于DNN的方法
对于每张图像,我们训练了一个深度神经网络(DNN)来将单个注视点分类为有声音或无声音条件。
2.6.2. 训练和验证数据
为了训练DNN,我们通过从所有参与者那里随机抽取真实注视点生成了大量单次注视的图像。关键的是,训练集和验证集是通过从不同的试验中抽取注视点来创建的:每个图像、条件和参与者只使用一次注视点,未用于训练的注视点用于验证。当训练集和验证集来自相同的注视分布时,网络的性能接近100%,这表明网络只是学会了表示与每个条件相关的注视分布。当我们使用两组不同的注视点来创建训练集和验证集时,性能较低但仍然很高——这是因为时间上接近的注视点在空间上也往往接近。因此,我们决定按试验分割数据是为了避免过拟合,确保训练和验证是在真正独立的数据集上进行的。虽然不同重复次数的注视之间可能存在一些差异,但由于DNN是在不同的重复次数上进行训练和验证的,它被迫学习出条件特有的注视特征,从而抽象出条件间的变化。我们任意决定创建180,000张训练图像和60,000张验证图像。为了生成这些图像,每个注视点在对应于图像大小的零矩阵中被标记为1。然后使用高斯滤波器对这些图像进行滤波,滤波器的标准差对应于1 dva。这样做是为了近似黄斑的大小,并考虑到眼动追踪器的分辨率(我们接受的校准平均误差不超过0.5 DVA)。为了计算效率,图像被调整大小为227 × 227像素。
2.6.2.3 DNN
我们使用了AlexNet,这是一种流行且相对简单的DNN架构用于图像分类。对原始架构的唯一修改是调整了最后一层,使其输出两个对应于实验条件的类别。在初步测试后,我们确定了以下优化参数:训练使用带有动量的随机梯度下降(SGDM)进行,小批量大小为32,最大迭代次数为8次。初始学习率设置为6 ×10?4,并且每4次迭代减少0.1倍。动量固定为0.9,L2正则化为1 ×10?4。训练数据在每个迭代时都会被打乱。模型性能在保留的验证集上以50次迭代的频率进行监控,训练在运行Ubuntu 22.04.5 LTS(Canonical Ltd.,伦敦,英国)的Linux工作站上进行,该工作站配备了AMD Ryzen Threadripper PRO 5955WX CPU(Advanced Micro Devices, Inc.,圣克拉拉,加利福尼亚州;16核,32线程)256 GB RAM,以及NVIDIA RTX A6000 GPU(NVIDIA Corporation,圣克拉拉,加利福尼亚州;48 GB VRAM)。在训练过程中,我们对注视图像应用了在线数据增强,以提高泛化能力并减少过拟合。增强包括随机旋转(±20°)、水平和垂直平移(±10像素)、沿x轴和y轴的独立缩放(0.8–1.2)以及随机水平反射。这些变换保留了注视模式的整体结构,同时引入了与自然空间不确定性一致的变异性。
2.6.3 统计推断
我们进行了自助法推断来评估网络分类准确性的可靠性。为了确定经验性机会水平,首先使用随机打乱的每个图像的条件标签对每个网络进行训练,得到的准确率约为50%(图3)。对于使用真实标签训练的网络,我们重新采样了1000张验证图像并进行替换,然后计算每个重新采样集的分类准确率,重复此过程100次以构建准确率估计的经验分布。这种策略——有时称为自助法测试/验证预测——利用训练好的模型对保留数据的现有预测,并重新采样它们来估计性能指标的抽样分布,而无需在新自助训练集上重新训练网络;这是一种计算效率高的方法来获得分类器性能的置信区间[43]。为了考虑10张图像之间的多重比较,我们应用了Bonferroni校正,得到了99.5%的置信区间。然后我们评估这个区间是否包含了经验性机会水平;如果没有,网络的性能被认为是统计上显著的。
图3. 关注区域内的注视比例,在y轴上,平均值在参与者之间。x轴上表示一致声音和无声音条件。误差条表示参与者之间的平均值标准误差。
3. 结果
图2A和B显示了在一致声音和无声音条件下,平均值在参与者之间的热图。
3.1. ROI分析
对较小ROI(图2C中的蓝色椭圆)的ANOVA显示声音的主效应显著(F(1,5) = 6.708, p = 0.049, η2?? = 0.56),图像的主效应显著(F(9,45) = 68.589, p < 0.001; η2?? = 0.93),但没有显著的交互作用(F(9,45) = 0.884, p = 0.547; η2?? = 0.15)。这表明在一致声音条件下,ROI内的注视比例平均高于无声音条件,如图3所示。由于不同图像的ROI大小不同,预期图像的主效应是显著的。实际上,我们还包括了一个分组因素来考虑图像间ROI大小的差异。重要的是,当我们对较大的ROI重复进行ANOVA时,声音条件的主要效应不再显著(F(1,5) = 4.195, p = 0.096, η2?? = 0.456)。这表明ROI选择的小差异可能会影响结果。
3.2. 基于DNN的分析
我们测试了每个图像的个别注视点是否可以预测实验条件。分类是使用每个图像的单独神经网络进行的,准确性在保留的验证集上进行了评估(见第2节)。
图4显示了验证集的准确率以及每个图像的自助法分布。自助法99.5%置信区间(Bonferroni校正;对应于0.0025和0.9975分位数)提供了分类准确性的变异性估计。图4. 分类结果。x轴表示图像,y轴表示百分比准确率。黑色圆圈表示在整个验证集上计算的分类准确率。小提琴图中的阴影区域(绿色)代表数据的核密度估计,表明分布的形状和相对频率。垂直线表示四分位数范围。星号表示分类显著高于机会水平的图像(见表1)。水平线表示平均经验性机会水平,其周围的阴影(红色)区域表示95%置信区间。在10张图像中,有5张图像的分类准确率超过了机会水平。对于分类显著高于机会水平的5张图像(图像1、4、5、8和9),自助法置信区间的下限超过了经验性机会水平,表明观察到的性能不太可能是偶然发生的(见表1)。对于其余图像,自助法区间与机会水平重叠,表明这些刺激的分类不可靠。
3.3. 分类图像
图2D显示了通过分类图像分析得到的热图。这些热图可视化了声音和无声音条件下条件诊断性注视的空间差异。虽然在某些情况下,诊断性注视在预期ROI周围的位置增加,但在几张图像中,热图显示了更分散的模式:在声音条件下的注视在中央或其他显著区域(如面部)减少,在靠近声源的周边或任务相关区域增加。例如,在图像1中,参与者较少注视中央的面部,而更多地注视图像的侧面区域;而在图像9中,注视从面部转移到身体和发声的鞋子。总体而言,这些可视化结果突显了预期中的以及分布式的条件诊断注视差异,而这些差异并未被传统的感兴趣区域(ROI)分析方法一致地捕捉到。4. 讨论 在本研究中,参与者在观看包含潜在发声物体的自然图像时,会听到持续的声音或没有声音。关键的是,这些发声物体被有意选择为视觉上不显眼的,并且通常不位于场景的中心,以避免简单的显著性效应主导注视行为。我们使用了(1)以假设的任务相关区域为中心的经典ROI分析方法和(2)一种数据驱动的方法来分析注视分配,该方法训练了一个监督式深度神经网络(DNN)来从单次注视中分类任务条件。两种方法都提供了证据,表明听觉环境调节了注视行为。ROI分析显示,在注视落在发声物体周围预定义的空间区域内时,声音具有显著的主效应。然而,这些效应对任意的ROI定义非常敏感:对ROI大小的微小调整就足以消除统计显著性。相比之下,DNN分类器能够可靠地从单次注视中解码出条件,这表明在空间注视模式中存在系统性差异,而这些差异在手工绘制的ROI中并未被稳健地捕捉到。反向相关性使我们能够可视化驱动这些分类决策的空间位置。基于ROI的分析在眼动研究中产生了重要结果,特别是在假设驱动的研究中,可以直接测试关于特征特定注视的预测——例如特定表情的诊断性面部区域[44]。然而,基于ROI的分析在眼动研究中的局限性一直是该方法学上的关注点。Orquin和Holmqvist [18] 描述了眼动研究中有效性的关键威胁,包括ROI定义和分析选择的灵活性,这增加了研究者的自由度并影响了结果的可解释性。我们的分析实证地证明了这一担忧:ROI边界的微小变化就可能导致效应的显著性反转,这种依赖性削弱了基于ROI的推断的可靠性。一些研究开发了数据驱动的ROI生成技术。例如,通过对注视密度图应用阈值[23]或注视聚类方法(例如[24,25])来定义高注视密度区域,而无需事先关于位置的假设。虽然这些算法基于数据生成了客观的ROI,但它们仍然是描述性的:它们只是识别观察者最常注视的位置,并没有直接测试这些区域中的注视在实验条件之间是否存在差异。例如,在第九张图片中,对鞋子的注视很少,不太可能定义一个ROI。相比之下,我们的方法使用了一个判别模型来测试整个注视分布是否包含与条件相关的信息,这通过分类器的准确性来操作化。这在概念上类似于视觉科学中使用的图像分类技术(例如[45,46,47])以及探测DNN属性[30,48],其目标是识别预测行为决策或DNN反应的特征。与像素级或聚类级比较相比,分类框架的一个关键优势是其简洁性。传统的体素级或像素级分析将每个空间单元视为一个单独的统计测试,导致数千个同时进行的比较。在这种设置中控制假阳性需要强大的多重比较校正或非参数的基于聚类的解决方案(例如[49]),这些方法依赖于空间平滑、重采样和相对较大的样本量来实现稳定的推断。虽然这些方法非常适合检测群体层面的空间一致效应,但当注视数据在参与者之间稀疏、异质或在空间上对齐不良时,它们可能会失去敏感性。相比之下,我们的基于解码的方法通过评估单次注视的条件信息来完全避免大规模的单变量测试。实际上,通过为每张图片训练一个分类器来预测条件,我们将推断问题简化为每张图片的一个统计测试。然后,反向相关性可视化了条件诊断的空间模式,而无需在每个位置进行额外的推断测试,从而避免了明确的多重比较校正的需要,并便于清晰解释空间差异。此外,这使得该方法适用于单个参与者或少量聚合参与者的数据,并且对空间分布的效应具有鲁棒性。事实上,我们将参与者视为一个元观察者,汇总他们的数据,获得了大约单个参与者7倍的试验次数(即总共约700次试验)。我们的建模框架直接在试验层面操作,而不是对“平均参与者”进行统计推断。相反,它从聚合的注视数据集中估计抽样统计量。重要的是,每个参与者的任务持续时间相对较短:每张图片2秒的100次试验相当于大约200秒的刺激呈现时间,整个会话持续时间不到15分钟,包括校准和简报间隔。因此,原则上,单个参与者可以在一个可行的会话内完成全部约700次试验。这意味着我们的方法适用于单个观察者的层面。鉴于最近的证据表明注视策略显示出稳定和系统的个体差异[50],这一点很重要,这表明我们需要超越对平均观察者的统计推断。在我们的方法中,不可能将图片视为传统意义上的随机因素,因为网络明确学习了特定于图片的模式。实际上,我们为每张图片训练了一个网络。因此,这种方法在某种程度上不同于ROI眼动研究中使用的典型随机效应框架。我们的方法允许在单个刺激层面进行推断,而不是旨在跨图像群体进行泛化。重要的是,这种设计使我们能够观察到事先无法预测的刺激特定特性。我们认为这种探索性方法对于生成新的、可测试的假设至关重要。其他基于机器学习的方法使用了重采样或分类逻辑来测试关于注视行为的假设。例如,早期的工作使用线性分类来评估扫描路径中的任务效应(例如[14])。自助法和重采样分析已被用来评估任务依赖的注视差异(例如[12,13])。这些框架与我们的方法共享使用数据驱动的推断来评估任务效应的想法,但依赖于预定义的特征提取作为机器学习模型的输入。相比之下,我们的方法不需要手动定义的特征;相反,它使用深度网络从注视数据中学习判别性空间模式。通过微调一个预先训练用于物体分类的DNN[51],在预测注视分布方面取得了关键进展。这样的网络实际上保留了物体知识,这对于预测视觉显著性[38]至关重要。尽管这种方法与我们的方法有根本不同——因为它不检查实验条件之间的差异,而是旨在预测注视分配——但类似的策略可能适用于我们的目的,即微调一个预训练的网络来检测特定于条件的效应。然而,这可能需要更多的数据,未来的研究需要探索这种方法在我们特定背景下的可行性和有效性。我们在分析中包含了所有收集的数据,并没有尝试减少试验次数或参与者数量,因为系统地测试方法的最低限度(例如,通过减少观察者或试验次数)超出了本研究的范围。然而,我们的方法不仅适用于非常大的数据集。在当前的实验中,每张图片展示了2秒,平均每次试验大约有9次注视(与预期的每秒3-5次注视一致:例如[52])。数据集包括七名参与者,每位参与者每种条件完成五次重复——总的注视次数相对较少。尽管数据量有限,该方法仍然产生了稳定的结果。完整的数据集是公开可用的,也使其他人可以在需要时直接测试该方法的极限。为了简化,我们只跟踪了右眼,因为我们假设参与者是健康的,并且两只眼睛都注视在相同的位置。这种方法与之前的研究一致(例如[38,39])。然而,尽管我们不期望眼睛之间存在系统差异,但跟踪两只眼睛并平均它们的信号可能会减少测量噪声[53]。除了方法学贡献之外,我们的数据揭示了重要的行为现象。一个一致的观察结果是,声音的存在导致了对面部和图像中心区域的注意力分散——这些区域在场景感知中通常是高度显著的。这与大量文献一致,这些文献显示在自由观看中存在对中心注视和面部的默认偏好[37,54],但重要的是,它表明听觉环境可以系统地改变这种偏好。例如,在第一张图片中,ROI分析未能检测到条件差异,但分类器和相关的反向相关图显示,在声音条件下的参与者较少注视面部和图像中心区域,而更多地注视侧面区域。同样,我们发现参与者的首次注视倾向于朝向最接近注视十字架起始位置的图像边界,该位置总是随机放置在图像的左侧或右侧。这与之前的研究一致,这些研究表明起始位置对早期注视有影响[42,55]。对于第一张图片,当声音存在时,这种偏见似乎更强,可能是因为听觉线索降低了中心位置的面部显著性,并促进了对其的分散注意力。这表明在存在一致声音的情况下,存在一种探索性的注视策略,可能是为了通过空间采样来定位听觉来源,而不是依赖于默认的显著特征。在第九张图片中,注视差异不仅出现在发声的鞋子上,还表现在注视从面部向身体的系统性转移上,表明注视策略同时监控多个与任务相关的区域,如声音来源和产生声音的物体。这些分布式策略与这样的观点一致,即注视部署通过平衡与任务相关的位置上的采样来优化感知效率[22]。我们的发现扩展了越来越多的证据,表明注视行为受到自下而上的显著性和自上而下的任务需求的相互作用的影响。早期的视觉显著性模型强调图像特征(如强度和对比度)作为注视位置的决定因素。然而,后续工作表明,认知指令和任务需求强烈调节了注视分配(例如,在场景观看中的任务效应[6,7,56])。这里观察到的多感官对注视分布的影响表明,一种模态(听觉)的显著性可以重塑视觉显著性景观,这种重塑是分布式的,不限于局部物体特征,这与我们最近关于跨模态视觉显著性效应的工作一致[16]。尽管当前的分类方法捕捉到了条件之间的稳健空间差异,但未来的工作可以扩展这一框架,以研究注视分配的时间动态和与低级图像特征的相互作用。此外,将分类器结果与行为表现或神经测量相结合可以产生更丰富的多感官注意力模型。我们提出了一个通用的分析框架,它不特定于特定的刺激、实验变量、项目特征或任务,原则上可以应用于任何基于图像的眼动数据集。重要的是,我们的结果还表明,该方法不需要大型数据集来检测系统差异,因为即使参与者和试验次数相对有限,DNN也能够识别出可靠的模式。虽然需要在不同的基于图像的眼动环境中进行验证,但这种方法的方法论结构是通用的,应该可以自然地扩展到其他研究。这种设计非常适合图像数量有限的研究,因为它允许研究特定于刺激的差异。然而,它也适用于图像数量较多的研究。在后一种情况下,可以将图像视为随机因素,可以为每张图片分别计算性能指标(例如,分类准确性),然后对这些图像级别的平均值进行统计测试(例如,将图像作为随机因素测试准确性)。重要的是,使用当前的硬件训练相对简单的网络速度很快。因此,即使包含许多图片,为每张图片拟合单独的网络并得出图像级别的统计量也是实际可行的。5. 结论 本研究突显了眼动分析中的一个方法学进步,展示了数据驱动的、基于分类的框架相对于传统ROI方法的优势。我们的结果表明,传统的ROI分析可能对任意的参数选择非常敏感——对ROI大小或位置的微小调整可能会显著改变统计结果。重要的是,由于分类框架不受关于效应应出现在何处的事先定义的假设的约束,它能够适应探索性研究,并揭示传统ROI方法可能错过的、特定于刺激的模式。通过训练一个判别模型来从单次注视分布中预测实验条件,我们的方法将推理问题简化为对每张图像进行一次明确、单一的测试,从而避免了多重比较(例如,每个像素)。反向相关性则允许直接可视化条件诊断的空间模式,使得效应的解释更加清晰,而无需引入额外的统计假设。关键的是,该框架在试验层面而非参与者平均水平上进行操作,允许在个体观察者的层面上进行分析,并能够研究注视策略的系统性个体差异。我们的结果表明,数据驱动的分类方法为传统的ROI分析和聚类方法提供了一种可靠、客观且可解释的替代方案。通过直接关注条件诊断的注视模式,而不仅仅是那些吸引大量注视的区域,这种方法既避免了主观的参数选择,又揭示了否则可能无法检测到的空间注视效应。其无假设的特性使其特别适合于探索性研究,为传统的分析流程提供了可靠的替代方案。除了这些方法论上的贡献外,我们的数据还揭示了一些有意义的行为现象,具体来说,存在与声音诱导的注意力从面部和图像中心区域转移的现象——这些区域在自然场景观看中通常非常显眼。