《Applied Ergonomics》:Systematic review of usability evaluations in medical devices: Methodological choices, heuristic application, and confounding factors
编辑推荐:
本研究系统评估了医疗设备开发中可用性评价方法的应用,发现 heuristic、formative 和 summative 三种方法在模拟环境下具有较高方法学严谨性,但存在样本选择、测试指令标准化等混杂因素,导致外部效度不足。结论强调需建立融合模拟测试与真实临床场景的标准化混合协议,并持续整合人因工程原则以提升安全性和创新性。
安娜·克里斯蒂娜·贝蒂亚·克雷默·莫拉埃斯(Ana Cristina Beitia Kraemer Moraes)| 西伦·法蒂·优素福·巴克里(Shiren Fathi Yusef Bakri)| 卡罗琳·卡尔林斯基·谢勒(Caroline Karlinski Scherer)| 拉里萨·奥利维拉·达内卢兹·瓦兹(Larissa Oliveira Daneluz Vaz)| 贾奎琳·约纳拉·达席尔瓦·加尔达多(Jaqueline Yonara da Silva Galhardo)| 埃弗顿·格拉内曼·索萨(Everton Granemann Souza)| 奇亚拉·达斯·多雷斯·多纳西门托(Chiara das Dores do Nascimento)| 拉斐尔·格拉·伦德(Rafael Guerra Lund)
巴西佩洛塔斯联邦大学(Federal University of Pelotas, Pelotas, Brazil)
摘要
背景
可用性评估是医疗器械开发中的法规和安全要求,这一要求由国际电工委员会(IEC)IEC 62366-1/2和美国食品药品监督管理局(FDA)的指南所规定。这些框架建立了识别和缓解正常使用条件下设备相关风险的流程,但它们不能保证方法的一致性或科学的可重复性。因此,可用性测试通常作为程序性步骤实施,而不是基于证据的验证策略。
目的
本研究系统地探讨了在医疗器械开发过程中如何选择和进行可用性评估,分析了启发式、形成性和总结性方法的应用,并识别了影响科学一致性和外部验证的混淆因素。
方法
在PubMed、Scopus、Web of Science、LILACS和Google Scholar上进行了全面搜索(2024年4月至2025年1月)。在2600条记录中,有24项研究符合纳入标准。采用Bardin的内容分析方法进行定性综合,并使用GRADE和ROBINS-I框架评估证据的质量,以评估偏倚和方法的严谨性。
结果
大多数研究显示了严格的方法论严谨性和中等的偏倚风险,得出的证据具有中等到高的可信度。基于模拟的评估能够在受控条件下有效识别可用性问题,但其有限的生态有效性限制了其在临床环境中的普遍适用性。采样、参与者培训以及工具标准化方面的反复不一致是限制可比性和可重复性的主要因素。
结论
医疗器械的可用性评估在方法上仍然严谨,但在科学上存在碎片化。法规合规性与科学验证之间的持续差距凸显了需要标准化混合协议,将模拟和实际临床测试结合起来。将人因工程(Human Factors Engineering)原则作为持续、基于证据的过程嵌入其中,对于加强医疗技术的安全性、性能和以用户为中心的创新至关重要。
引言
可用性评估是医疗器械开发和监管批准的关键阶段,确保预期用户能够安全、有效地操作这些设备。国际框架,特别是国际电工委员会(IEC 62366–1:2015;IEC 62366–2:2016)和美国食品药品监督管理局(FDA)的指南(2016),将可用性工程(Human Factors Engineering,简称HFE)定义为一个系统过程,使制造商能够识别、评估和缓解与正常使用和可预见的使用错误相关的风险(美国食品药品监督管理局,2016;巴西国家研究委员会等,2015)。在这个背景下,HFE不仅支持法规合规性,还为理解整个产品生命周期中的用户交互、性能和安全性提供了科学依据。
人因工程使设备设计符合用户的感知、认知和身体能力,促进以用户为中心的设计、迭代评估和情境任务分析,以预测和预防使用错误(Black等,2023;Aune等,2023)。在不同的开发阶段应用了多种方法:启发式分析、形成性测试和总结性评估(Black等,2023;Liu等,2019;Deshpande等,2024;Petracca等,2021;Haig等,2020;Pager等,2020;Chaniaud等,2020;Elfadil等,2022;Lageat等,2021;Su等,2023;Oliveira等,2021)。每种方法的选择取决于开发阶段、任务复杂性和用户特征等因素,这些因素直接影响评估的质量、持续时间和成本(Black等,2023)。经常使用模拟环境来控制变量并确保可重复性,支持在临床实施前的早期验证(Aiyegbusi,2020;Parreira等,2020)。然而,这些受控环境无法完全捕捉到现实临床条件的复杂性,如操作员压力、工作流程中断或患者差异,这些因素会影响任务执行和设备交互(Aune等,2023;Liu等,2019;Aiyegbusi,2020)。因此,模拟研究的外部有效性往往受到限制,限制了研究结果在实际医疗环境中的转移性。
此外,尽管研究报告在定义样本量和选择可用性工具时遵循了监管指南,但在这些协议的实施过程中观察到了反复的不一致性。这些差异包括参与者培训和熟悉程序的差异、测试期间使用使用说明书(IFU)的情况,以及标准化测量工具(如系统可用性量表(SUS)、NASA任务负荷指数(NASA-TLX)或用户体验问卷(UEQ)的管理或调整(Black等,2023;Haig等,2020;Aiyegbusi,2020;Pager等,2020;Chaniaud等,2020;Parreira等,2020)。这些方法上的分歧阻碍了可比性并降低了科学的可重复性,强调了需要协调和透明的可用性评估实践。
因此,本研究系统地回顾了应用于医疗器械的可用性评估方法,分析了启发式、形成性和总结性方法的实施情况,并识别了可能影响方法一致性和外部验证的混淆因素。通过将可用性纳入人因工程范式,本综述旨在增进对如何以用户为中心的证据来加强法规合规性和医疗器械开发科学基础的理解。
部分摘录
搜索策略
本系统综述遵循了《系统综述和荟萃分析的优先报告项目》(PRISMA,2020)指南(PRISMA,2015)。研究识别和选择由两位审稿人独立使用Mendeley Reference Manager和Rayyan Systematic Review平台进行,以确保方法论的严谨性并最小化选择偏倚。文献搜索在2024年5月至2025年1月期间进行,记录于2025年1月31日冻结,以保留筛选结果。
研究选择
在2024年5月至2025年1月期间进行了全面的电子搜索,初步共找到2598篇出版物。没有对出版年份和语言施加任何限制。在去除重复记录并初步进行基于标题的相关性筛选后,有1677篇出版物因不符合预定义的资格标准而被排除。这一过程后,有921项研究进入摘要筛选阶段。
随后的摘要评估导致了
讨论
本综述系统地总结了在人因工程(HFE)、IEC 62366和FDA指南(美国食品药品监督管理局,2016;巴西国家研究委员会等,2015)框架内如何应用可用性评估方法。尽管证据显示了方法上的严谨性和法规上的一致性,但科学验证仍然存在不一致性。多种方法论方法丰富了人们对用户交互的定性理解
结论
本系统综述表明,尽管医疗器械的可用性评估符合IEC 62366和FDA指南(美国食品药品监督管理局,2016;巴西国家研究委员会等,2015)的要求,并显示出严格的方法论严谨性,但它们很少能够实现全面的科学验证。证据显示在受控模拟中具有内部可靠性,但在临床环境中的转移性有限,这受到报告差异和非标准化工具的限制
CRediT作者贡献声明
安娜·克里斯蒂娜·贝蒂亚·克雷默·莫拉埃斯(Ana Cristina Beitia Kraemer Moraes):撰写——原始草稿,验证,方法论,形式分析,概念化。西伦·法蒂·优素福·巴克里(Shiren Fathi Yusef Bakri):调查,数据管理。卡罗琳·卡尔林斯基·谢勒(Caroline Karlinski Scherer):方法论,调查。拉里萨·奥利维拉·达内卢兹·瓦兹(Larissa Oliveira Daneluz Vaz):撰写——原始草稿,数据管理。贾奎琳·约纳拉·达席尔瓦·加尔达多(Jaqueline Yonara da Silva Galhardo):方法论,调查。埃弗顿·格拉内曼·索萨(Everton Granemann Souza):软件,形式分析,数据管理。奇亚拉·达斯·多雷斯·多纳西门托(Chiara das Dores do Nascimento):撰写——审阅与编辑。
手稿准备过程中生成式AI和AI辅助技术的声明
在准备本手稿期间,作者使用了ChatGPT(OpenAI,美国加州旧金山)来帮助改进英语语言、翻译以及提高文本的清晰度和结构。该AI工具还协助组织和方法内容的表述。它未被用于生成、分析或解释数据。所有输出都经过了作者的严格审查、验证和编辑,作者对最终结果的完整性和准确性负全责
利益声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
致谢
我们衷心感谢研究员胡安·莫拉·德尔加多(Juan Mora Delgado)慷慨分享他开发的AI工具,该工具对本研究中混淆因素的评估做出了重要贡献。
我们还要感谢巴西国家研究委员会(CNPq)对这项系统综述的支持,并通过研究资助(406417/2024-5)和作者的研究奖学金(306225/2021-2)提供财务援助。