《Proceedings of the Human Factors and Ergonomics Society Annual Meeting》:Future of Human Performance Modeling in the Era of Artificial Intelligence: Toward AI-Augmented, Verifiable, and Agency-Preserving HPM
编辑推荐:
人类绩效建模(human performance modeling, HPM)在历史上已将感知、认知和行动理论转化为可用于设计的可执行预测。AI介导的工作现在增加了提示、验证、工具切换、自适应自主性以及人–AI协同适应,从而形成固定操作子库和手工编写模型只能部
人类绩效建模(human performance modeling, HPM)在历史上已将感知、认知和行动理论转化为可用于设计的可执行预测。AI介导的工作现在增加了提示、验证、工具切换、自适应自主性以及人–AI协同适应,从而形成固定操作子库和手工编写模型只能部分捕捉的任务。本文介绍一个AI增强、可验证HPM(AI-Augmented, Verifiable HPM, AV-HPM)框架,该框架将机制性HPM保留为因果核心,利用AI加速模型合成与校准,并要求在预测用于安全关键或任务关键设计之前进行验证、不确定性分析、压力测试与治理。研究人员识别当前实践中的差距,明确一种分层架构,并将该框架转化为示例研究和最低报告标准——这是一项使AI时代的HPM具有可扩展性、可审计性、保留能动性并能在实验室和领域间累积的具体议程。
人类绩效建模(human performance modeling, HPM)长期将感知、认知和行动理论转化为面向设计的可执行预测,并以任务时间、工作负荷、错误可能性、学习和资源竞争等定量估计提供因果解释。AI助手进入工作后,任务对象与实践均发生变化:任务包含提示、验证AI输出、决定何时依赖自动化、协调工具以及适应会变化的助手;实践则可由AI将自然语言程序转化为候选任务模型、生成模拟轨迹并支持快速编写,但同时带来流畅但错误的任务分解、未记录假设、未校准不确定性和不透明残差等风险。原文指出现有实践存在五类差距:可扩展编写缺乏保证;校准与不确定性不均衡;人–AI交互机制表征不足;协同适应表征较弱;混合模型保证案例尚未标准化。因此,研究人员提出AV-HPM框架,将AI视为理论引导建模过程中的受约束组件,而非认知理论替代物,并给出分层架构、示例研究、最低报告标准、基准计划和假肢工作示例;其结论是AI应同时使HPM更易获得和更可问责,重要意义在于为AI时代HPM提供可评审、可审计、可累积的研究议程。
关键技术方法(不超过250字):研究人员提出五层AV-HPM工作流:任务与情境规范;受约束合成,由大语言模型(large language models, LLMs)或任务挖掘提出结构化模型,验证器执行合法操作子、资源约束、时间依赖和来源溯源;混合预测核,以机制模拟器生成基线并以校准残差模型修正系统偏差,采用加性残差学习T
mech(x)+r
θ(x);验证与确认(verification and validation, V&V)及治理产物,包括不确定性区间、敏感性分析、漂移检查、消融、审计日志和更新政策;部署后监测闭环。原文还采用扰动基准、最低报告清单和保证案例,并以AI辅助假肢抓取选择控制器比较为工作示例;原文未报告新样本队列,示例含少量试点日志的假设流程。
研究结果如下。**Next-Generation Research Exemplars**:该部分将框架转化为五个可测试研究程序,并以最低证据要求区分可信贡献与缺乏验证的工具演示。**Guarded LLM-Assisted Task Modeling**:该程序测试LLM从自然语言程序起草操作子图,通过专家模型一致性、合法性检查、溯源和扰动稳定性,结论是LLM起草必须受验证器约束。**Hybrid Mechanistic–Statistical Prediction**:该部分指出当搜索、中断、微错误或AI介导验证占主导时,简化假设会使机制HPM产生偏差;混合预测保留因果结构并从遥测学习残差,关键在残差是否因正确原因改善预测。**Agency-Bounded Shared Autonomy**:该部分将辅助重构为约束优化,在有限能动性损失预算下最大化绩效,使能动性成为可审计要求而非副作用。**Chatbot-Mediated Cognition**:该部分以操作子建模提问、检查回答、评估证据、交叉查源、修订、提交和恢复等行为,结论是聊天机器人介导的知识工作需显式表征验证与恢复。**Human Digital Twins for Design Trade Studies**:该部分要求数字孪生(digital twin)具有显式认知与工作负荷机制、群体参数分布和V&V产物,而非仅数据驱动化身。**Evaluation Criteria and Reporting Standard**:该部分将验证从单数字拟合转向变化下保证,提出含操纵AI可靠性、延迟、引用可用性、时间压力、自主性和不确定性的最小任务套件,并报告时间、遗漏与执行错误、工作负荷、校准信任和感知能动性分布。**Operationalizing Core Human Factors Constructs**:该部分将时间分解为可观察阶段,将错误分为遗漏、执行、排序、时序和恢复失败,将工作负荷同时报告为模型预测需求和实测结果,将信任视为对可靠性的校准、能动性视为对行动选择、时序和纠正的经验与操作控制;结论是每个主要预测应可追溯到任务状态、操作子、参数和证据源。**Assurance Case for Pre-Publication Review**:该部分提出紧凑保证案例(assurance case),以预期用途为 claim,以合法性测试、参数溯源、校准数据、压力测试和人结果验证为证据,并说明局限与残余风险;结论是该方法可使局限精确并明确AI仅起草还是留在部署管线。**Concrete Benchmarking Plan**:该部分围绕扰动设计程序性AI指导、信息验证、共享控制/自主性和多任务调度四类基准,分离训练、校准与留出条件,结论是稳健性比便利场景拟合更具信息。**Example Application: A Worked Prosthetic Case**:该部分以AI辅助比较两种假肢抓取选择控制器走完五层,LLM将程序转为带数值先验及来源的操作子图,验证器拒绝无来源参数,混合预测生成完成时间分布并含纠正分支,残差模型校正系统偏差,保证证据报告不确定性、消融、降级分类器可靠性压力测试和能动性损失;结论是AI贡献为机器可读、带数值的模型草稿而非自由文本意见。**Implementation Pathway for HFES Research**:该部分提出可复现工具链、交互遥测与人结果配对数据集、带可执行代码和可读保证案例的模型、设计扰动基准及以人本结果为主,并延续HPM-UP和HPM-NL的经验;结论是AV-HPM可实现更快建模且可追溯、自适应预测且保留理论、有帮助AI且人角色可审计。**Practical Quality-Control Checks**:该部分提出任务边界、操作子覆盖、溯源、扰动和人结果五项质控检查,结论是这些检查可使模型可评审和复用,推动HPM成为累积工程科学。
讨论部分总结:**Discussion: Design Implications and Open Problems**提出三个设计含义,即模型成为服务而非静态产物、治理成为模型一部分;评估须超越准确性;人因理论成为约束层。开放问题包括LLM介导工作的操作子定义、生理信号到工作负荷映射、经验证的能动性损失指标、多样用户与可及性需求基准,以及AI编写模型何时仅探索性使用、何时可用于采购、临床或任务决策。**Boundary Conditions and Ethical Use**强调专家校准模型不推广至新手、低风险知识工作模型不用于急诊或临床决策而无压力测试、一个AI助手版本校准不静默转移至另一版本、实验室任务模型不构成长期采用证据;伦理上AI增强HPM可减少被试负担,但模拟结果过早替代实证会造成错误自信,责任角色是渐进保真。**Limitations**指出本文提出框架和报告标准而非验证新实证模型,合成残差示例仅作说明,基准套件是起点,且AV-HPM依赖机制核心;若任务分析不完整或理论与群体不匹配,AI只能更快产生无效模型。**Conclusion**翻译如下:AI助手改变了任务是什么以及绩效应如何建模。若HPM保持其机制优势,同时利用AI扩展编写、校准和情境覆盖,它仍可处于人因工程的核心。AV-HPM提供这一路径:用验证器约束AI生成结构,将机制模拟与校准残差学习结合,通过压力测试和不确定性评估稳健性,并在生命周期中治理模型。对于HFES,下一步是共享基准和报告标准,将AI组件与核心构念——时间、错误、工作负荷、信任和能动性——连接起来。直接贡献是一份可供评审使用的路线图:它命名差距、定义分层框架、操作化构念,并陈述未来研究的最低证据。更广泛的主张是,AI应同时使HPM更易获得和更可问责:更快的编写只有在更强验证、更清晰不确定性和对能动性的明确保护下才有价值。