《Journal of Multidisciplinary Healthcare》:Cybersecurity and Privacy Risks of Generative AI Mental-Health Chatbots: A Systematic Review and Regulatory Framework
编辑推荐:
大语言模型(LLMs)和其他生成式人工智能(AI)系统正越来越多地应用于心理健康照护中的心理健康教育、情绪支持、筛查以及危机相关互动。据研究人员所知,这是首个显式将大语言模型(LLMs)特有的网络安全与隐私风险映射到医疗器械软件(SaMD)监管框架的结构化合成
大语言模型(LLMs)和其他生成式人工智能(AI)系统正越来越多地应用于心理健康照护中的心理健康教育、情绪支持、筛查以及危机相关互动。据研究人员所知,这是首个显式将大语言模型(LLMs)特有的网络安全与隐私风险映射到医疗器械软件(SaMD)监管框架的结构化合成分析。研究人员旨在刻画部署模式、识别多层风险,并评估所报告的安全保护措施与既定医疗卫生治理标准的一致性。
研究人员在PubMed、APA PsycNet和Google Scholar数据库中检索并开展了由PRISMA指南指导的系统综述。在根据预定义的纳入标准对合格记录进行筛选后,共纳入33项研究。两名评审人员独立提取了关于应用领域、部署设置、风险类别、攻击面、数据敏感性以及报告或推荐控制措施的数据。
生成式人工智能(AI)聊天机器人最常用于治疗或情绪支持(13/33,39.4%),其次是安全评估或基准测试(9/33,27.3%)以及心理健康教育或建议(6/33,18.2%)。自杀预防或危机检测是最常见的领域(10/33,30.3%)。大多数系统依赖于通用大语言模型(LLMs)(21/33,63.6%),并通过面向消费者的平台进行部署(16/33,48.5%)。关键风险包括有害或不安全的输出、危机应对失败、敏感个人信息泄露以及透明度有限。关键的是,78.8%的研究(26/33)在网络安全评估严密性方面被评为高风险,这表明正式的对抗性测试(adversarial testing)和结构化威胁建模(threat modeling)仍然罕见。
目前的治理框架尚未完全适应心理健康语境下的生成式对话人工智能(AI)。由于治疗界面充当了主要的攻击面(attack surface),单层安全评估(仅孤立地评估软件验证或内容安全)是不够的。需要更全面的方法,包括更强大的网络安全控制、保护隐私的数据实践,以及与食品药品监督管理局(FDA)的医疗器械软件(SaMD)指南、健康保险便利和责任法案(HIPAA)、ISO 14971标准以及国家标准与技术研究院人工智能风险管理框架(NIST AI RMF)的明确对齐。
Introduction (引言)
大语言模型(LLMs)等生成式人工智能(AI)正被广泛应用于心理健康照护中的心理健康教育、情绪支持和危机互动等场景。与传统的基于规则的系统不同,生成式聊天机器人能够生成开放式、动态的回复,这虽提升了交互灵活性,但也带来了关于安全、隐私与网络安全的新挑战。心理健康交互往往涉及高度敏感的信息(如自杀倾向、精神病史等),错误的输出可能导致严重的临床后果。
从工程角度看,生成式人工智能(AI)具有概率性、对提示词高度敏感等特征,这打破了传统医疗软件的验证和变更管理逻辑。其攻击面(attack surfaces)分布在多层系统架构中,包括模型层的训练数据投毒(data poisoning)、界面层的提示词注入(prompt injection)以及系统层的访问控制失效等。当聊天机器人用于分流、临床决策支持时,其功能符合医疗器械软件(SaMD)的定义。然而,现有的健康保险便利和责任法案(HIPAA)和安全框架(如ISO 14971和美国国家标准与技术研究院人工智能风险管理框架(NIST AI RMF 1.0))难以完全覆盖此类新型系统的特有漏洞,目前急需建立系统性的监管和技术映射框架。
Materials and Methods (材料与方法)
本系统综述严格遵循系统综述和荟萃分析首选报告项目(PRISMA)指南开展,其协议已在国际系统综述前瞻性注册库(PROSPERO)注册。
研究人员在PubMed、APA PsycNet和Google Scholar数据库中检索了截至2026年3月的文献,筛选符合预定标准的同行评议首创性研究。排除不涉及生成式AI、纯算法性能优化和非同行评议的文献。
两名评审员独立提取了关于系统架构、应用场景、安全漏洞、隐私风险、安全控制和监管合规等方面的数据,并基于非随机暴露研究偏倚风险(ROBINS-E)工具改编的结构化框架对纳入研究进行方法学偏倚风险评估。此外,依据场景敏感度和失效后果,对应用进行了高、中、低临床风险评级。
Results (结果)
经筛选,共纳入33项研究。偏倚风险评估显示,大部分研究方法学质量为中度风险,但在网络安全和安全评估严密性方面,高达78.8%的研究被评为高风险,说明正式对抗性测试和结构化威胁建模极少。
部署模式上,自杀预防与危机检测是最常被研究的领域(24.2%),治疗与情感对话支持是主导功能(54.5%)。在临床风险评估中,78.8%的应用被判定为高风险。系统架构方面,63.6%的研究依赖通用大语言模型(LLMs),并在面向消费者的平台(48.5%)上主要通过多轮对话(72.7%)方式部署。
在风险识别上,输出端安全风险最为突出:有害或不安全的建议占45.5%,危机应对失效占27.3%。隐私风险同样严峻,包括敏感披露(18.2%)、重新识别(12.1%)和不透明的对话数据存储等。网络安全维度的评估极少,未经授权访问占12.1%,数据泄露占6.1%。
控制措施与合规性呈现零散特征。虽然60.6%的研究提到“人机协同”(human-in-the-loop)监督,但仅有30.3%的研究包含概念级威胁建模,明确提及HIPAA或GDPR等合规性的研究仅占24.2%,红队测试(red-teaming)比例仅为6.1%。
Discussion (讨论)
研究揭示了生成式聊天机器人在心理健康领域面临的结构性张力:开放式的对话交互既是核心卖点,也是主要的威胁面(threat surface)。大语言模型(LLMs)的概率性输出使其在应对危机转介和医学咨询时存在固有不确定性。消费级部署模式拉大了用户的隐私预期与平台实际数据治理(如保留和共享对话记录)之间的差距。此外,基于语言特征推断心理状态的新型推断攻击进一步加剧了隐私泄露风险。
面对跨越模型层、界面层、数据层和系统层的多层级威胁,传统的美国食品药品监督管理局(FDA)SaMD或HIPAA等静态和结构化导向的监管框架无法有效适应其生命周期变更。健康信息学研究需要向建立多维度的生命周期评估(lifecycle governance)方法演进,聚焦脆弱人群,整合医疗临床、网络安全和监管科学开展跨学科合作。本综述的局限性包括:领域演进极快导致文献实效性具挑战;由于研究设计的异质性,无法进行定量合成分析;多数研究依赖模拟提示词,缺乏真实的纵向临床部署数据。
Conclusion (结论)
生成式人工智能(AI)在心理健康领域的应用暴露出技术运作方式与现有监管架构的严重脱节。未来的安全集成依赖于生命周期治理。迫切需要:第一,监管机构将结构化威胁建模和对抗性红队测试(red-teaming)作为SaMD上市前审查的准入标准;第二,开发者采用涵盖模型、界面、数据和基础设施的集成多层风险防护框架,实现内生性安全控制,而非仅在输出层进行补救。