批判性地思考用于行为自动化检测的算法:面向社会与行为科学家的11条指导原则

《Developmental Science》:Thinking Critically About Algorithms for Automated Detection of Behavior: 11 Guidelines for Social and Behavioral Scientists

【字体: 大 中 小 】 时间:2026年03月10日 来源:Developmental Science 3.2

编辑推荐:

  **摘要** 发展心理学家越来越多地利用移动和可穿戴传感器,结合机器学习和人工智能(AI),自动检测被认为驱动发展的日常行为和互动。这些技术提供了捕捉学习者真实世界体验的机会,对基础科学和干预措施具有广泛的影响。然而,许多发展心理学家缺乏批判性地评估用于自动检测行为的模型准确性

  **摘要**

发展心理学家越来越多地利用移动和可穿戴传感器,结合机器学习和人工智能(AI),自动检测被认为驱动发展的日常行为和互动。这些技术提供了捕捉学习者真实世界体验的机会,对基础科学和干预措施具有广泛的影响。然而,许多发展心理学家缺乏批判性地评估用于自动检测行为的模型准确性的培训,并可能不了解在现实世界环境中实施这些方法的各种挑战。为了推动这一领域的下一代研究和创新,我们为读者提供了一套11条实用指南,这些指南将使研究人员具备必要的批判性视角,以便以技术上合理、伦理上适当且实际的方式设计和使用系统。我们的指南强调了在研究和干预中使用AI时的常见陷阱和挑战,并提供了最佳实践和实际建议。这些指南涵盖了模型泛化能力的限制、对准确性统计数据的谨慎解释建议、现实世界可行性的重要性、伦理部署以及持续社区参与的跨学科合作。总体而言,这些指南为提高发展科学中活动识别工具的严谨性、公平性和影响力奠定了基础。

**模型通常无法超越其训练数据进行泛化:**研究人员应确保模型训练数据与其将要使用的环境和人群相匹配。高准确的得分可能掩盖了模型的低性能:仔细评估训练数据的质量,并检查每种感兴趣行为的准确性。模型准确性并不等同于对参与者的益处:一个不太准确但可采用的模型可能会比一个非常准确但不实用的模型带来更大的益处。发展心理学家及其研究中的参与者为开发出在现实世界环境中准确、有意义且可用的AI工具提供了关键的视角。

**关于自动化行为检测算法的批判性思考:11条发展研究人员的指南**

移动和可穿戴传感器,结合能够自动从传感器数据中检测活动的算法,提供了前所未有的访问那些被认为驱动发展的日常行为和互动的方式。最近的研究强调了发展心理学家如何利用这些技术来支持研究和干预(de Barbaro 2019; de Barbaro and Fausey 2023)。例如,来自可穿戴运动传感器的数据已被用来描述自然日托环境中的行为调节(Koepp et al. 2021)。从儿童佩戴的音频记录中检测到的父母言语已被用来量化全球儿童的语言输入(Bergelson et al. 2023),或者与屏幕使用数据结合使用,来展示手机使用对亲子互动的实时影响(Mikhelson et al. 2024)。头戴式摄像机已被用来描述儿童的视觉输入及其与词汇学习的关系(Jayaraman et al. 2015; Schroer et al. 2024)。实时行为预测正在革新传统的干预范式(Nahum-Shani et al. 2016; Timmons, Feng et al. 2024)。例如,在临床试验中,自动化情感检测被用来在治疗过程中为有情绪和行为问题的儿童提供实时反馈(Saliba et al. 2023)。人工智能(AI)在这些工作中起着关键作用。移动传感器,包括可穿戴音频记录器、摄像头、加速度计和 proximity监测器,每秒钟可以记录数十、数百甚至数千个原始样本,即使对于短暂的记录也是如此。为了有效地管理这些大型数据集,研究人员可以使用算法从传感器输出中自动推断有意义的活动,这一过程称为活动识别(Nweke et al. 2018)。例如,算法可以应用于来自加速度计的运动数据,以自动推断儿童是在走路还是在爬行(Franchak et al. 2021)、在睡觉还是在醒来(Sazonov et al. 2004),或者是否被父母抱着(Yao et al. 2019)。这些自动化推断可以大幅减少人工注释的工作量,使研究人员能够大规模地洞察自然活动。传统上,大多数活动识别应用程序是由成人消费应用领域的工程师团队开发的,包括数字医疗和健身(Pires et al. 2020)。然而,近年来,越来越多的研究——通常由发展心理学家领导或参与——开发出从婴儿、儿童和家庭传感器数据中推断活动的算法,包括情绪标志(Lee et al. 2025; Micheletti et al. 2023; Timmons et al. 2017)、姿势和运动活动(Deng et al. 2025; Franchak et al. 2021, 2024; Hendry et al. 2023)、语言(Lavechin et al. 2020; Li et al. 2024; R?s?nen et al. 2021; Soderstrom et al. 2021)、亲子互动(Karaca et al. 2024; Timmons, Feng et al. 2024)以及家庭环境的各个方面(Khan et al. 2024; Khante et al. 2023)。此外,像Chat-GPT这样的现成AI工具或其他大型语言模型,虽然不是专门为儿童佩戴的数据设计的,但对于各种数据注释任务也越来越有效(Rathje et al. 2024)。随着机器学习应用在发展研究中的日益普及,研究人员必须具备一定的AI素养,以便能够批判性地评估这些模型。否则,该领域可能会得出误导性的结论,在不适当的背景下应用模型,或者忽视可能扭曲发现及其影响的偏见。最后,一些发展心理学家可能希望领导或加入开发用于检测特定感兴趣行为的算法的团队。他们的专业知识对于确保模型解决真正科学和实际重要的问题、定义行为注释的金标准、突出模型必须考虑的变异性来源(例如,在不同环境、年龄和治疗组或文化背景下的潜在差异),以及指导相关人群的招募至关重要(Bergelson et al. 2023)。熟悉活动识别的术语、可能性和挑战可以使这些研究人员在与机器学习专家的合作中倡导更好的解决方案(详见Baumgartner et al. 2023)。总体而言,无论是作为最终用户还是合作者,发展心理学家都可以在批判性地评估和支持这些技术方面发挥重要作用,从而使最终工具具有意义、伦理性和实用性。为了促进这些跨学科努力,我们分享了一套11条用于发展科学中开发、评估和实施活动识别算法的指南,如图1所示。我们的重点不是提供关于进行移动传感器研究的一般指导(参见de Barbaro and Fausey 2023; Harari et al. 2016)或更广泛的机器学习介绍(参见Hindman 2015; Jacobucci et al. 2023; Pargent et al. 2023)。相反,我们旨在提供来自我们自己和其他人的批判性视角和实践考虑,以支持这一领域的下一代发展心理学家。我们认识到,并非每个实验室或出版物都能始终采用所有这些指南。例如,虽然我们鼓励在开发模型时招募多样化的群体,但个别项目将不可避免地反映其当地环境和资源的限制。因此,这些指南不是作为严格的要求提供的,而是作为基准,帮助研究人员识别最佳实践,以便未来的努力产生更强大和更有影响力的科学成果。

**关于自动化行为检测算法的批判性思考的十一点指南**

**入门**

广义上讲,AI指的是能够执行与人类智能相关任务的计算系统,如推理、语言或决策。机器学习是AI的一个子集,它使用算法和统计模型来识别数据中的模式,而不依赖于明确编程的规则。在发展研究中,机器学习可以用来从原始传感器数据中推导出感兴趣的行为表示(例如,走路、爬行或坐下)。一种常见的机器学习方法是监督学习,它在训练或“学习”阶段将传感器数据与“真实标签”或注释配对——这些标签通常由人类编码员生成和验证。监督模型使用这些标记的示例来学习可用于预测或自动检测感兴趣行为的传感器特征。这些预测的基础是不同的行为(例如,走路与坐着)在传感器数据中有独特的特征。例如,走路涉及持续的前进运动,而坐着则涉及相对静止。模型学会使用从传感器输入中提取的这些特征来区分行为类别。监督建模的逻辑类似于拟合回归:算法学习参数值,将输入变量(传感器数据的特征)映射到结果(标记的行为),调整它们以最佳预测该结果。然而,心理学家通常使用回归来探索已知数据集内的关系(例如,识别哪些输入最能预测结果),而机器学习方法则更常使用训练好的模型来预测新输入变量(之前未见的传感器数据)的未知结果。因此,机器学习工作通常依赖于更严格的交叉验证方法来评估模型的泛化能力。在交叉验证中,训练数据集的一部分(例如,带有“真实标签”输出的配对传感器数据)被保留起来,而模型则在其余数据上进行训练。训练完成后,通过将真实标签输出与模型预测进行比较来评估模型的准确性。在活动识别任务中,交叉验证的金标准是留一参与者法(LOPO),即从训练集中排除一个参与者的数据,仅用于测试。这个过程在训练数据集中的所有参与者中重复进行,直到每个参与者都被排除一次,然后计算这些迭代的平均模型准确性。这种方法对于测试模型的泛化能力至关重要,因为它允许研究人员确定模型在新参与者数据上的表现如何,而这些新参与者在模型参数设置时并未被包括在内。从头开始训练模型并不总是可行或必要的。相反,研究人员可以依赖于预训练模型,即已经在大型、标记的(“真实标签”)数据集上训练好的模型,并且这些模型已经以商业方式或在GitHub等存储库上发布供重新使用。正如我们在下面的指南1和2中详细说明的,条件合适时,预训练模型可以“现成”用于新的应用,从而减少时间和计算成本。这是包括LENA分类(Gilkerson et al. 2017)、OpenPose(Cao et al. 2017)和Whisper(Radford et al. 2023)等工具的基础。或者,如果预训练模型是公开可用的,可以用来自新数据集的额外真实标签数据进行“微调”。微调允许模型在原始数据集学到的表示基础上进行构建,同时适应新数据集的具体人群或背景。当新数据集太小而无法从头开始训练模型时,这特别有用。

**认识到模型泛化能力的限制**

在活动识别算法的开发中,一个关键的教训是模型通常无法超越用于训练它们的数据进行泛化(Lockhart and Weiss 2014)。例如,在干净实验室环境中收集的数据训练的模型在自然日常环境中可能表现不佳,用一个群体数据开发的模型可能在另一个群体中表现不佳。因此,研究人员应仔细考虑模型训练所使用的环境和人群与模型将要使用的环境及人群之间的匹配。**指南1:将训练数据与您的预期用途进行比较**

许多研究报告称,当模型从结构化数据收集环境转移到非结构化数据收集环境时,性能会显著下降(Gillick et al. 2021; Liaqat et al. 2021)。在我们自己关于婴儿窘迫检测的工作中(Yao et al. 2022),我们发现大多数已发布的模型都是在高度控制的数据上训练的,例如,在安静的房间里用麦克风记录的婴儿(Marschik et al. 2017)。利用这种结构化或“干净”数据集的已发布模型在哭声检测中的准确率通常超过90%(参见综述Ji et al. 2021)。然而,我们证明,在这种“干净”数据上训练的哭声检测模型在应用于真实世界的儿童佩戴音频记录时,准确率下降了64%(Yao et al. 2022)。结构化环境缺乏来自兄弟姐妹、宠物、厨房电器或音乐等各种日常声音,这些声音可能与婴儿窘迫的数据类别重叠,使得这些声音更难检测。此外,其他声音——如猫叫或椅子吱吱声——可能与婴儿的烦躁或哭声具有相似的声学特性,导致模型混淆并增加误报。重要的是,在这个真实世界数据集上训练的算法在真实世界数据测试中已经达到了80%以上的准确率(Lee等人,2025年;Galhotra等人,正在审稿中)。需要注意的是,尽管这些分数很高,但它们尚未达到在干净环境中收集的数据所达到的准确率水平,这反映了在嘈杂环境中进行分类的挑战。这种跨环境的通用性问题在许多情况下都存在。例如,经过训练用于检测来自真实世界YouTube视频中情感的模型,在我们以儿童为中心的数据集中检测情感时表现不佳,因为情感类别的色调和氛围(例如,“尖叫”)在成人环境中(如体育赛事中吸引注意)与日常家庭场景(如幼儿发脾气)可能大不相同(未发表的工作;支持信息S1)。同样,使用在白天清醒时间收集的数据训练的模型来检测父母抱孩子的行为(Yao等人,2019年),在这些数据中,抱孩子的姿势大多是直立的并且是移动的,但在夜间,当抱孩子的姿势相对静止且是仰卧时,模型的准确率会下降。另一个例子是,基于成人姿势和动作训练的模型可能会错误地将儿童的物理活动解读为成人动作(d'Andrea等人,2025年)。最后,针对只有一个孩子的家庭中检测语音的模型,在有多个孩子的家庭中表现更差(Cristia等人,2020年)。使用公开可用模型的研究人员应该仔细考虑模型训练数据的特性:如果模型训练数据和/或测试数据与其预期用途严重不匹配,则可能需要进行额外的验证来确定模型在新环境中的真实准确率。这些努力应该是有针对性的,而不是普遍适用的。在已经有大量验证研究的领域,例如在多种语言或年龄组中广泛测试的模型,除非新数据集引入了尚未被考察的条件,否则额外的验证可能不会提供太多新信息。因此,验证应重点关注可能的误差来源(例如,噪声增加或行为变异性、不寻常的记录环境),并应基于明确的证据缺口来指导,而不是在与现有研究高度相似的环境或人群中重复进行。然而,因为在结构化协议中开发的模型往往无法泛化到自然环境中的数据,所以旨在检测自发行为的模型应该在真实世界环境中进行验证(参见Franchak等人,2024年)。

模型泛化的局限性,即在一个群体或样本上训练的算法往往无法泛化到另一个群体或样本上,在发展和临床研究中尤其成问题。行为会随着年龄、文化、社会经济地位、临床状态和时间而变化(Buolamwini和Gebru 2018年;DeCamp和Lindvall 2020年;O'Brien等人2017年),这导致模型性能的变异性。例如,在设计用于通过语音模式或发声特征评估早期语言发展的模型中,泛化问题很可能出现。使用来自资源丰富的英语家庭中单语幼儿的音频数据训练的模型可能无法泛化到来自双语家庭、非西方文化背景或发展迟缓的儿童(Ganek等人2018年;Piot等人2022年;Warlaumont等人2014年)。同时,跨语料库的准确率可能不是单调的:一些工具在处理年龄较大的儿童或非英语环境中的数据时并不会出现灾难性的失败。例如,原始的LENA训练数据集包括了1-42个月大的英语儿童的国家代表性样本(Gilkerson等人2017年),并且几项验证研究表明,性能只略有下降——在各种其他语言中,成人世界计数相关性大约减少了4%-10%(Cristia等人2020年,2024年;McDonald等人2021年)。然而,儿童发声/对话轮次的相关性下降了大约30%-50%,突显了泛化的挑战性。此外,使用大型多样化数据集(如多个独特数据集)训练的模型并不总是比更同质的样本表现得更好(Amrani等人2025年)。这些发现表明,虽然训练数据的多样性有价值,但并不总是意味着模型在样本群体间的表现更好。成功的泛化本质上依赖于全面描述群体行为的全部变异范围。例如,考虑一个使用主要由低风险、资源充足的母亲组成的社区样本数据训练的模型,这些母亲表现出中等到高水平的对婴儿痛苦的敏感性。这个模型可能无法检测或区分在高风险样本中更普遍的较低敏感性的行为,比如患有抑郁症或有童年虐待史的母亲。如果没有这种表示,模型可能会错误分类或完全忽略其之前“见过”的分布之外的行为。除了跨群体变异性外,发展模型还必须考虑随时间的变化。例如,语言在发展阶段上有显著的变化——从早期的咿呀学语到青春期的复杂句法和实用语言使用——这些变化使得基于年轻儿童数据训练的模型不适合分类 older 儿童的数据。此外,交流风格也受到文化和历史的影响(Rogoff 2003年)。随着文化规范和语言实践的发展,个体表达自身的方式也会随之变化。这在心理健康和家庭背景下尤为明显,因为关系和情感表达深深植根于动态的社会和文化框架中(Chentsova-Dutton和Ryder 2020年)。因此,AI模型的准确性不能假设是静态的;相反,随着它们评估的互动随时间的动态变化,它们的准确性和相关性可能会下降。基于同质、主要是白人、说英语和社会经济优势群体的历史数据集建立的模型,在广泛应用于多样化的发展和临床背景下时可能会带来重大风险(Koenecke等人2020年;Kostick-Quenet等人2022年;Scaff等人2025年;Timmons等人2023年)。当这些模型用于科学推断或指导干预决策时,它们可能会编码和延续系统性偏见——特别是在代表性不足的群体中表现不佳时(Buolamwini和Gebru 2018年;Hooker 2021年;Mehrabi等人2021年)。这可能以不同的方式表现出来:诊断不足可能导致关键问题被忽视,限制获得关键资源或服务的机会,而过度诊断可能会强化有害的刻板印象并导致不当的标签或监控(Obermeyer等人2019年)。在这两种情况下,后果可能超出个别错误的范围,导致更广泛的不平等现象在心理健康护理中。当有偏见的模型指导科学、实践或政策时,它们可能会固化差异,而不是纠正它们——最终破坏了AI推进更精确和公平的发展和临床研究方法的承诺。预训练算法的最终用户应仔细审核模型训练数据与其预期群体之间的匹配程度。为了确定是否需要额外的验证,用户应查找在类似人群、年龄、语言和背景的数据集上的已发布性能,并识别可能的泛化失败。对于参与模型开发过程的研究人员来说,应考虑招募社会经济、临床和/或种族多样化的样本进行模型开发,这可以增加训练数据的变异性,从而使训练好的模型能够更广泛地使用。在处理多样化样本时,研究人员应在训练后或进行额外验证后,测试数据中的有意义的子群体之间的性能。这些结果,包括潜在的偏见,应该在出版物中进行分享,以保持透明度;理想情况下,如果性能有显著差异,模型应该用特定群体的数据重新训练。最后,如果处理纵向样本或干预措施,可能需要定期监控模型的准确性,因为随着行为本身的变化,模型性能也可能发生变化。并非所有实验室都能够招募广泛多样的样本,也没有单个项目能够解决泛化的全部问题。至少,模型出版物中应该详细描述群体特征,这是心理学的标准做法,但通常不包括在工程出版物中。更广泛地说,系统性的举措——如资助者对多样化招募的激励、期刊对子组报告的要求以及创建偏见审计基准——可能与个别实验室实践一样关键,对于推进发展算法研究中的公平性和泛化性至关重要。最后,只要可行,研究人员应将在验证研究中的原始数据和附带注释存放在共享仓库中(例如,Databrary、HomeBank)。这种做法使得验证数据集能够累积汇总,允许未来的模型在更丰富、更具代表性的资源上进行训练和测试,确保个别验证努力能够为集体进步做出贡献。

模型准确性反映了其正确分类或预测感兴趣活动的能力。在活动识别中常见的评估指标包括精确度(正确阳性预测的比例)、召回率(正确识别出的实际阳性的比例)和F1分数,后者平衡了精确度和召回率,总结了整体性能。下面,我们强调了在解释或使用这些统计资料时常见的挑战。

准确性分数通常被视为模型质量的黄金标准,但它们可能会产生误导。首先,如果训练或测试数据质量低,无论是不可代表的(例如,排除了难以建模的案例)还是标注不可靠的(例如,评分者之间的一致性低),准确性将不会反映真实世界的性能。其次,当交叉验证不严格时,分数可能会被人为夸大。例如,将同一个体的数据包含在训练和测试数据集中可以提高相对于黄金标准LOPO协议的性能。第三,发展科学家感兴趣的真实世界行为往往是不平衡的:像笑声、愤怒或家庭冲突这样的行为即使在临床群体中也很少见,这意味着整体准确性可能会掩盖在这些较少见但关键类别上的表现不佳。这个问题可能会被加权准确性指标加剧,这些指标根据每个类别的观察频率来加权每个类别的准确性。因为频繁的行为(例如,没有痛苦)通常更容易检测到,这可能会使整体分数看起来非常出色,即使模型在罕见但临床重要的行为(例如,“哭泣”或“烦躁”)上的表现较差。相比之下,未加权的准确性使用简单平均值来总结跨类别的性能,更好地揭示了这些问题。例如,一个对于“没有痛苦”的准确率为90%,但对于“哭泣”和“烦躁”的准确率仅为50%的模型,如果“没有痛苦”发生的频率是痛苦的100倍,那么加权F1分数将为89%。未加权分数仅为63%,表明模型在其最重要的行为上基本上是随机猜测的(支持信息S2)。许多研究仅依赖于加权分数,这使得难以判断模型是否捕捉到了这些较少见但有意义的活动中。考虑使用公开可用模型的研究人员应该考虑建模过程的质量,而不仅仅是依赖准确性分数。训练数据的质量应该像评估任何其他人工标注的数据集一样进行评估,即通过考虑可靠性统计数据和标注样本的代表性。除非目的是开发个性化模型(指南4),否则交叉验证应该始终是黄金标准的LOPO。当感兴趣的类别不平衡时,读者应检查未加权平均值、每个类别的准确率和/或交叉引用每个类别的模型预测和真实值的列联表。编辑和审稿人应该推动这一报告标准在领域内的普及。开发模型的研究人员应该发布并解释这些指标,以提供对模型性能的现实和有用的评估。此外,包括行为科学家更熟悉的准确性指标(例如,Cohen's kappa或类内相关系数,参见Bakeman和Gottman 1997)也有助于将结果与行为研究标准联系起来。

在活动识别中,模型通常被设计为泛化——也就是说,在它们未被训练的数据上表现良好。然而,最近的研究越来越多地强调了个性化机器学习模型的潜力,这些模型利用针对个体或家庭的标记训练数据,其性能超过了通用方法(Webb等人2025年)。个性化模型可能特别适用于个体间行为异质性高的任务,例如日常生活中的心理健康症状检测。例如,在最近的工作中,我们进行了一项试点研究,利用35个家庭在60天内的移动和可穿戴数据,比较了通用模型与个性化模型在检测即时心理健康状态方面的表现(Timmons、Tutul等人2024年)。个性化模型在敏感性和F1分数方面显著优于通用模型,涵盖了包括悲伤、焦虑、压力和积极互动等一系列情感和人际结果。同样,Franchak等人(2021年、2024年)发现,基于家中可穿戴惯性传感器的个性化婴儿体位模型比基于群体的模型具有更高的检测准确性。通过根据每个个体的症状特征和可用数据流来定制模型,可以显著提高模型性能(Jacobson等人2019年;Wang等人2014年)。在症状表现独特且参与者在传感器或设备使用方式上存在较大差异的领域,这一点尤为明显。尽管个性化模型具有潜力,但它们也带来了计算和实施上的挑战,包括需要为每个参与者定制训练流程、更频繁的更新以及处理稀疏或不规则数据的方法。在某些情况下,这些调整的成本可能超出其带来的好处,因此研究人员应仔细考虑资源需求与研究目标和限制之间的关系。然而,当模型在参与者之间的泛化能力较低或实时准确性对临床应用至关重要时,追求这些努力仍然是值得的。

使用自动化行为分类的现实是——特别是在嘈杂、自然的环境中——我们的模型的准确性通常会低于人工注释者的准确性,即使经过各种尝试来提高性能也是如此。然而,即使模型预测结果未达到直接使用的标准,它们仍然可以通过提供大量数据来提供有价值的见解,而这些数据如果完全由人工注释的话在现实中是不切实际的(参见Cristia等人2020年;de Barbaro和Fausey 2023年)。例如,在开发用于从音频中检测家庭混乱的模型时(Khante等人2023年),我们评估了YAMNet,这是一个能够识别521种现实世界音频类别的公共模型(Gemmeke等人2017年;Google Research 2019年)。YAMNet在我们收集的儿童佩戴的音频录音上的表现较差(未发表的数据;见支持信息S1);然而,我们能够利用其预测结果构建一个过滤器,将人工注释的效率提高了八倍(Khante等人2023年)。被标记为“嘈杂”或“混乱”的音频片段包含混乱的可能性远高于随机选定的片段,从而使编码者能够更高效地识别出罕见但有意义的事件。类似地,LENA对大量语音或对话语量的预测经常被用来选取活动频繁的音频片段进行进一步注释(例如,Cychosz等人2020年)。仔细检查模型错误发生的地方也有助于评估和改进模型预测。例如,通过可视化分析,我们发现我们的混乱识别算法似乎错误地将夜间异常长时间的混乱情况识别为卡车声音。经过审查,我们发现模型将用于婴儿睡眠的白噪音机器错误地分类为卡车声音,而这被错误地与高混乱程度联系在一起。这促使我们将分析范围限制在白天,因为在白天模型犯这种错误的可能性较低。

5. 优先考虑伦理、可行性和参与者利益

算法开发者往往将模型准确性作为主要目标。虽然这很重要,但同样重要的是要考虑算法是否可行、伦理合规以及是否有用。一个不太准确但可行且易于采用的模型最终可能比一个高度准确但计算要求高、难以扩展的模型带来更大的社会效益——能够更快地覆盖更多人。特别是在错误分类的风险较低的情况下尤其如此。例如,当算法用于提供支持性反馈或参与提醒时——尤其是当这些提示不频繁或对用户的负担较小时——错误分类不太可能对用户或其与AI系统的互动产生负面影响。在这种情况下,最大化采用率和可用性可能比优化高度准确的分类更为重要。平衡准确性和可行性以及实际效用对于确保AI工具能够以有意义和可持续的方式支持人们至关重要。

同样,尽管研究人员通过使用昂贵的专业研究级传感器或同时整合来自多种传感器的数据流可以实现更高的准确性,但我们必须仔细考虑人们是否愿意购买和佩戴这些传感器,尤其是在没有时间限制的研究框架和激励措施的情况下。如果没有持续使用,这些复杂模型在实际应用中的效用可能会受到限制,无论它们在理想条件下的表现如何。相比之下,利用商业设备(如人们已经拥有的智能手机或广泛可用的可穿戴设备,如Fitbits和Garmins)可能在可扩展性、成本和长期参与度方面具有优势。尽管这些设备提供的数据保真度可能低于研究级替代品,但它们的普及性和易用性使它们更适合广泛部署。当目标是将研究工具转化为实际应用时,这些考虑尤其重要;但对于那些专注于在小样本中获取高度精确数据的团队来说,这些因素可能不那么关键(参见de Barbaro和Fausey 2023年)。在考虑大规模部署时,另一个相关问题是技术基础设施。模型通常是在来自不同类型传感器的预先收集的数据集上训练的,而这些传感器之间往往不兼容,这限制了它们只能在离线环境中进行评估,而无法实现实时响应。为了提高它们的实际影响,研究人员可以从已经可以在大规模上部署的基础设施开始——例如智能手机,它们集成了多种传感器并支持实时数据收集——然后随着集成流程和用户采用的增加,逐步添加兼容的设备(例如可穿戴设备)(Harari等人2016年)。通过这种方式利用现有基础设施,可以提高模型在规模上的准确性和实用性。

5. 优先考虑伦理、可行性和参与者利益

算法开发者通常将模型准确性作为主要目标。虽然这很重要,但同样关键的是要考虑算法是否可行、伦理合规以及对参与者是否有用。一个不太准确但可行且易于采用的模型可能最终会带来更大的社会效益——比一个高度准确但过于复杂、计算要求高或难以扩展的模型更快地惠及更多人。特别是在错误分类的风险较低的情况下尤其如此。例如,当算法用于提供支持性反馈或参与提醒时——尤其是当这些提示不频繁或对用户的负担较小时——错误分类不太可能对用户或他们与AI系统的互动产生负面影响。在这种情况下,最大化采用率和可用性可能比优化高度准确的分类更为重要。平衡准确性和可行性以及实际效用对于确保AI工具能够真正以有意义和可持续的方式支持人们至关重要。

同样,虽然研究人员可以通过使用昂贵的专业研究级传感器或同时整合来自多种传感器的数据流来实现更高的准确性,但我们必须仔细考虑人们是否愿意购买和佩戴这些传感器,尤其是在没有时间限制的研究环境之外。如果没有持续使用,这些复杂模型在实际应用中的效用可能会受到限制,无论它们在理想条件下的表现如何。相比之下,利用商业设备——如人们已经拥有的智能手机或广泛可用的可穿戴设备(如Fitbits和Garmins)可能在可扩展性、成本和长期参与度方面具有优势。尽管这些设备提供的数据保真度可能低于研究级替代品,但它们的普及性和易用性使它们更适合广泛部署。当目标是将研究工具转化为实际应用时,这些考虑尤其相关;但对于那些专注于在小样本中获取高度精确数据的团队来说,这些因素可能不那么重要(参见de Barbaro和Fausey 2023年)。在考虑大规模部署时,另一个相关问题是技术基础设施。模型通常是在来自不同类型传感器的预收集数据集上训练的,这些传感器之间往往不兼容,这限制了它们只能在离线环境中进行评估,而无法实现实时响应。为了提高它们的实际影响,研究人员可以从已经可以大规模部署的基础设施开始——例如智能手机,它们集成了多种传感器并支持实时数据收集——然后随着集成流程和用户采用的增加,逐步添加兼容设备(Harari等人2016年)。通过这种方式利用现有基础设施可以提高模型在规模上的准确性和实用性。

5. 优先考虑伦理、可行性和参与者利益

除了可行性和可扩展性问题外,伦理考虑必须在实际监控技术的部署中占据核心地位——尤其是在心理健康和行为健康等敏感领域(Cychosz等人2020年;Kostick-Quenet等人2022年;Lee等人2025年;Timmons等人2024年;Timmons等人2023年)。伦理数据收集的基础是知情同意原则,这必须从最初的注册阶段延伸到对正在收集的数据内容、处理方式以及使用或共享方式的持续透明度。实际监控,尤其是被动或连续的监控,通过使参与者难以对数据收集保持意识和自主权,对传统的同意模型提出了挑战。确保参与者的自主权和控制权要求系统是透明且用户可配置的,有明确的机制让参与者能够控制和撤销对数据的访问权限。虽然一旦数据上传到机构服务器或存储库,完全控制往往受到限制,但研究人员可以在过程早期为参与者创造有意义的选择机会。数据收集后的短时间内,即在文件上传或存档之前,是一个特别重要的窗口期,因为此时参与者最有可能请求删除数据,且尊重这样的请求也是最可行的。实际监控经常捕获敏感、详细和上下文丰富的数据,特别是在收集音频数据时,这引发了关于隐私和保密性的重大担忧。必须谨慎防范无意中收集非同意个体的数据(例如第三方的语音)或捕获高度敏感信息(例如人际冲突、健康相关讨论)的风险。参与者可能对持续的被动音频记录感到不适,尤其是在不清楚他们的言语何时以及如何被记录的情况下。为了解决这些问题,研究人员可以考虑设置时间限制的“会话”,让参与者主动授权在特定时间段内进行音频记录。另一种策略是使用具有可访问功能的录音设备,允许参与者随时开始和停止录音。此外,研究人员可以在设备上实施技术解决方案,本地处理音频——提取去标识化的特征(如词频或音高)——同时确保原始音频和转录文本永远不会离开参与者的手机。同样重要的是数据的安全性和存储:加密、安全传输和受限访问协议必须是标准做法,以防止未经授权的使用或数据泄露。在开发模型时,研究人员还必须积极监测算法的公平性和偏见,确保它们在不同人群中的表现公平,并不会加剧现有的 acesso、诊断或护理方面的差异(详见准则2)。在心理健康领域,这些考虑尤为重要,因为边缘化群体在历史上在研究和临床实践中一直得不到充分代表(Timmons等人2024年)。除了考虑隐私、保密性和公平性外,还必须优先考虑法律和合规性要求。例如美国的《健康保险可移植性和责任法案》(HIPAA)和欧盟的《通用数据保护条例》(GDPR)对数据保护、同意和跨境数据共享提出了严格的标准。在系统设计和实施过程中,必须仔细审查特定司法管辖区的法律——例如音频记录的双方同意要求。最后,研究人员必须主动评估这些技术的风险和意外后果。例如,音频记录中捕获的敏感或意外内容可能需要临床评估、干预或报告。即使初衷良好的系统,如果错误分类导致不必要的临床升级、污名化或信任受损,也可能造成伤害。先前的数字健康和AI伦理研究强调了风险-收益分析应该是持续的,而不仅仅是一次性的,并且研究人员需要框架来平衡创新与患者安全和信任(Goodman等人2011年;Nebeker等人2019年;Vayena等人2018年)。这些资源提供了关于监管义务、实际伦理和应对意外后果的方法的更详细讨论,可以作为研究人员遵守规定的起点。

6. 吸纳多元专业知识以加强研究和实践

自动化活动识别是一个令人兴奋的跨学科领域,合作使研究团队能够共同完成比单独行动更多的工作。计算方法的技术复杂性可能会让开发人员感到畏惧,他们可能觉得自己的学科知识重要性较低。但是,发展研究人员及其研究中的参与者为传感器工具的开发带来了关键的观点。来自社会科学和行为科学的见解以及最终用户的声音对于塑造在实际情况中准确、有意义和可用的语音工具至关重要。准则9. 将工程师和计算机科学家纳入讨论

发展研究在活动识别方面带来了独特的挑战,同时也提供了独特的技术创新机会。例如,在实际环境中识别亲子活动这样的任务通常涉及嘈杂的数据、罕见事件以及活动类别在持续时间和形式上的高变异性。与传统的人类活动识别任务(如行走或进食)不同,这些活动通常更复杂且依赖于具体情境;它们可能在多个时间尺度上展开,涉及多个个体,并包含互动的细微定性维度(Khante等人2025年)。在早期讨论中强调这些挑战可以帮助吸引和促进跨学科合作。另一种有效的策略是展示现有模型或标准架构在感兴趣的问题上的表现不佳,这可以激励技术领域的专家合作,并加强技术评审者的支持。例如,在我们的哭声检测工作中,我们首先展示了使用干净实验室数据训练的现有模型在实际数据集上的表现不佳,从而激发了开发实际哭声检测模型的需求(Yao等人2022年)。同时,发展研究中的一些应用活动识别问题可能可以通过已验证的方法解决。这意味着与资深工程师或计算机科学家的合作可能会导致模型对于所研究的问题来说过于复杂,或者如果这些问题不需要新的架构,这些合作者可能对这些问题不感兴趣。对于较为简单的问题,一种解决方案是与资历较浅的研究人员合作——例如由博士生或博士后共同指导的本科生或硕士研究生——他们可能有动力将现有的架构有效地应用于发展性数据集。指导原则10:利用领域知识来增强活动识别。

算法通常是与具备机器学习经验的工程研究人员合作开发的,但这些研究人员可能对领域知识了解甚少或完全不了解。尽管大型数据集与大型模型在没有明确领域知识的情况下也取得了突破性成果(LeCun等人,2015年),但发展心理学家可以利用他们对人类行为的深厚理解和直觉来促进模型的开发。虽然先进的深度学习模型能够独立识别区分数据类别的特征,但它们对数据量的需求很大,在无法收集到大量训练数据集的情况下可能不合适。这种情况经常发生在心理行为研究中,因为这些行为要么罕见,要么难以编码。在这种情况下,可能需要使用计算强度较低的“传统”机器学习模型,研究人员可以预先指定模型用于预测的特征,这些特征在类似的数据集上表现良好(例如,标准的音频或运动特征列表)。然而,尽管这样的特征库在分类行走或进食等简单动作方面很有效,但由于它们通常处理的数据窗口较短,因此无法捕捉到对分类更复杂活动至关重要的长时间依赖性。例如,在最近的一项研究中,我们开发了一个分类器来确定母亲对婴儿痛苦反应的质量(Khante等人,2025年)。看护者对婴儿痛苦的反应发生在多个时间尺度上,需要考虑他们对婴儿个别痛苦叫声的即时反应以及在整个事件中的反应一致性。此外,反应质量还取决于情境:看护者可能因为对短暂的哭闹反应迟缓或缺失而获得高敏感度评分,但对大声哭泣的反应则不会。利用领域知识创建能够捕捉这些数据中依赖性的特征,可以提高模型的性能,超过仅使用传统特征的模型(Khante等人,2025年)。发展心理学家对行为的多模态、多尺度和情境性质的了解可以帮助模型捕捉到有意义的区别,从而提高分类准确性。指导原则11:在移动感知研究和干预中纳入社区合作者。

在算法开发中纳入社区合作者——特别是那些用于形成科学结论或指导干预实施的合作者——正成为标准且必不可少的做法(Tebes 2018;Timmons等人,2025)。尽管这项工作存在已知挑战(例如,Israel等人,1998;Wallerstein和Duran 2010),但让有实际经验的人参与进来可以提供关于算法在现实世界中如何被感知、信任和使用的关键见解。社区意见有助于识别采用的潜在障碍,揭露意外后果,并突出那些仅通过技术开发可能看不到的实际和伦理问题。重要的是,这种参与不应仅限于初始设计阶段;而应该定期进行,并在部署或数据收集之后继续进行。可以通过定性和方法(如访谈和焦点小组)来评估用户随时间的变化和看法,从而创建持续的反馈循环,支持迭代改进。与用户的持续合作可以使算法随着它们旨在支持的社区一起发展。这些合作关系也必须以伦理和敏感的方式进行处理:避免对社区成员造成不必要的负担,尊重他们的时间和专业知识,并确保他们因贡献而得到适当的补偿。

7 合成与下一步行动

发展心理学研究领域正进入一个变革的时代,移动感知和机器学习提供了前所未有的机会,可以在情境中大规模观察行为。随着算法开发在行为科学中变得越来越重要,研究人员在应用人工智能检测和解释有意义的人类活动方面取得了令人兴奋的进展。这些进步既凸显了在发展心理学领域使用人工智能的潜力,也体现了其中的复杂性。在本文中,我们提出了11条指导原则,旨在帮助研究人员批判性地参与这一新兴领域。这些原则包括考虑在不同环境和人群中的一般化局限性,谨慎解释准确性指标,以及考虑低精度模型的情况。我们强调了现实世界可行性、伦理部署、跨学科合作和持续社区参与的重要性。虽然并非所有指导原则都能立即适用于每个实验室,但我们的目标是提供一个基础,以指导逐步进展和共同努力,提高算法工具在发展心理学中的严谨性、公平性和影响力。展望未来,我们预见到几个关键挑战和机遇将塑造该领域的发展轨迹。这些包括发展新理论、确保可持续性、投资共享基础设施、促进协作生态系统,以及应对日益扩大的商业环境。我们在下面详细介绍了这些挑战和机遇。解决这些下一阶段的优先事项对于实现下一代人工智能增强型发展心理学研究至关重要。

7.1 从新数据到新理论

今后,基础科学的一个关键挑战是从积累大规模的日常数据集转向利用这些数据集来发展新的发展和学习理论(参见,例如Smith等人,2018;Nencheva、Tamir和Lew-Williams,2023)。这样做需要培训下一代发展心理学家掌握处理高密度数据的数据科学方法(参见Xu等人,2020年的教程)。这还需要结合发展生态系统的各种专业知识,从多模态行为到家庭过程和社区效应。这些努力可以通过数据共享计划来促进,我们在下面会有详细说明。例如,公开共享的SEEDlingS语料库(Bergelson 2015)是一个纵向数据集,包含每月的家庭音频和视频记录,以及实验室的眼动追踪数据,并进行了手动编码,用于研究儿童语言发展。同样,NIH资助的Play & Learning Across a Year(PLAY)项目(https://play-project.org/)是一个持续的合作项目,有超过70名研究人员参与,从美国各地的1000名婴儿那里捕捉并公开发布了长达一小时的丰富注释的亲子互动数据。这类共享数据集可以帮助该领域超越严格控制下的实验室数据集,使研究人员能够基于儿童日常互动的丰富数据构建新理论。

7.2 从概念验证到可持续实施

在干预领域,挑战是从概念验证转向可持续的、实际应用的系统。这意味着要从孤立的准确性展示转向构建优先考虑长期可用性、适应性和整合到现有教育、临床或社区基础设施中的工具。在这两个领域中的持续影响取决于迭代改进:不仅是在验证研究中表现良好的东西,而是能够在实践中持久并增加价值的东西。例如,一种针对抑郁症状的电子健康干预措施首先在随机对照试验中进行了测试(N = 187),然后扩展到了超过50,000名用户(Xu等人,2025)。该平台结合了实时问答、临床专家、 moderated peer groups以及不断更新的FAQ部分——将用户反馈转化为持续的资源更新。这种理论驱动的内容、强大的支持和建议反馈循环的结合展示了如何通过迭代改进最初受控的干预措施,以达到大规模人群并保持可测量的影响。

7.3 建立共享基础设施和结构化解决方案以加速进展

尽管我们的许多指导原则都是针对个别研究人员的,但可持续的进展还需要结构化的解决方案。诸如开源代码库、多样化和代表性数据集、标准化流程和模型仓库等共享基础设施可以加速发现并促进可重复性。反映儿童现实环境变异性、多样性和复杂性的开放数据集对于提高一般化能力尤为重要。机构和资助者可以通过创建使最佳实践成为可能的基础设施来发挥关键作用。例如,联邦支持的数据仓库降低了在生态学有效背景下收集的现实世界多模态传感器数据集的共享障碍。同样,一些应用人工智能领域已经要求进行的偏见审计(例如,NIST的语音识别基准测试)也可以成为发展算法研究中的标准做法。更广泛地说,该领域缺乏评估算法方法有效性和可靠性的共享标准。什么是“足够准确”的,数据集需要多大规模或多多样化,以及需要多少重复实验,这些问题仍然没有答案。建立基于证据的规范和基准——类似于移动感知领域为标准化数据收集参数所做的努力(Harari和Gosling 2023)——将有助于确保严谨性,而不会施加不切实际的负担。未来发展领域应优先考虑建立这样的标准。

7.4 支持合作生态系统

这项工作的跨学科性质要求建立跨越学科、机构和社区的协作生态系统。解决发展心理学中人工智能的技术、伦理和实际挑战需要发展心理学家、工程师、数据科学家以及有实际经验的社区成员和从业者之间的合作伙伴关系。支持模块化贡献、共享治理和持续共同创作的平台可以帮助该领域从孤立的创新走向集体进步。培养这些生态系统需要有意地投资于开放性、信任和共享荣誉。

7.5 应对移动感知技术的商业环境

面向消费者的感知和数字健康工具的激增——许多是在研究环境之外开发的——既带来了机会也带来了风险。一方面,商业合作伙伴可以提供收集数据或大规模传播数字干预所需的基础设施、覆盖范围和长期支持。另一方面,商业努力可能与研究人员的目标不一致。例如,商业感知或AI平台可能会压制不利结果,或者在公司优先事项发生变化时放弃工具的维护。在干预方面,数千个未经监管的心理健康应用的泛滥使该领域充满了质量参差不齐的工具。为了确保开发出最需要的和最有用的工具和基于证据的干预,并确保它们能够长期持续,研究人员可能需要与非学术领域的实施渠道合作。与行业、医疗系统或使命对齐的非营利平台合作可以帮助弥合严谨科学与可扩展的现实世界交付之间的差距。正如Harari和Gosling(2023)所强调的,未解决的测量、标准化和隐私问题不仅仅是学术问题,它们决定了工具是否能够以可靠、伦理和可持续的方式商业化。综上所述,商业化不是一个独立的议题,而是科学进程的延伸。谨慎处理商业化可以让发展心理学在推动科学进步的同时,提供更强大的工具来支持研究和干预。

7.6 实施和整合工作

一些早期倡议提供了关于如何部署、测试和共享协作基础设施系统的鼓舞人心的例子。例如,由第三作者开发的Colliga平台提供了共享基础设施,以支持AI增强型干预的开发、测试和传播(Timmons和Ahle 2020a, 2020b)。它允许科学家在模块化干预程序中部署个性化算法,并且可以通过发送电子邮件给最后一位作者免费用于研究。同样,MD2K倡议旨在推进将可穿戴传感器生成的大量数据转化为有意义、可用的健康洞察的基础科学(https://md2k.org/)。此外,如Homebank(https://www.talkbank.org/)、Databrary(https://databrary.org/)和(https://colliga.io/repository/)等数据仓库允许研究人员在工具实际使用的多样化、混乱条件下开发和评估模型。然而,尽管这些基础设施具有潜力,但其在发展心理学社区中的广泛实施和采用尚未实现。为了有效扩展这些系统,该领域必须继续投资于不仅技术上强大,而且可持续、得到良好支持并与研究人员日常工作时需求相结合的基础设施。

8 结论

随着发展心理学家接受人工智能和移动感知工具,该领域正处于一个关键的十字路口。本文提供了一套实用的指导原则,用于批判性地指导使用算法检测行为,这些原则基于该领域早期努力的经验教训。尽管这些工具的技术前景显而易见,但它们的科学和社会价值将取决于它们是如何经过深思熟虑地开发、评估和实施的。未来,该领域必须不仅关注准确性,还要关注公平性、可行性和长期影响。这将需要新的基础设施形式、持续的跨学科合作,以及对共享标准和开放实践的承诺。最重要的是,我们必须以现实世界为背景,确保开发的工具能够反映并服务于儿童发展的多样化人群。通过有针对性的设计和集体努力,我们可以构建一个未来,在这个未来中,算法工具将增强而非取代人类在发展科学中的洞察力。致谢

本研究由美国国立卫生研究院资助,项目编号为1R01DA059423-01(负责人:K.B.)和R42MH123368(合著负责人:Timmons、Comer和Ahle),并得到了德克萨斯大学奥斯汀分校Whole Communities-Whole Health研究计划的支持。伦理声明

本手稿未涉及任何人类受试者数据,因此无需获得伦理批准。利益冲突

Adela C. Timmons拥有Colliga Apps Corporation的知识产权和股票,可能从相关研究的商业化中获得经济利益。其他作者声明没有利益冲突。数据可用性声明

本研究没有报告新的数据或发现,因此没有数据可供公开分享。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号