重要性
患者教育材料是泌尿妇科手术中共同决策的重要组成部分。传统材料往往难以更新,缺乏个性化,并且不易调整。聊天机器人提供了一种生成全面且易于理解内容的新方法,但其在临床环境中的实用性仍不明确。
目的
本研究的目的是比较通用聊天机器人ChatGPT和由女性健康意识基金会(FFHA)开发的领域特定聊天机器人(FFHA Assistant)在生成手术咨询信息方面的表现,参考标准是国际泌尿妇科协会(IUGA)提供的材料。
研究设计
选择了7份代表常见泌尿妇科手术程序的IUGA宣传资料。向ChatGPT-4.0和FFHA Assistant提交了相同的提示。7位不知情的泌尿妇科专家使用5点李克特量表评估了响应的准确性、完整性和可理解性。可读性通过Flesch-Kincaid等级和Flesch阅读难度得分进行评估。
结果
与IUGA宣传资料相比,ChatGPT-4.0在完整性方面表现更好(中位数4 [3–5] 对 3 [3–4],P<0.01);而FFHA Assistant在准确性(中位数3 [3–3] 对 3 [2–3],P<0.01)和可理解性(3 [3–4] 对 3 [3–3],P<0.01)方面得分更高。两种大型语言模型生成的响应都比IUGA宣传资料更长。FFHA Assistant的响应具有更好的可读性评分,更符合健康素养建议。
结论
两种聊天机器人生成的咨询内容与现有材料相当或更优。领域特定的FFHA Assistant的响应更符合健康素养建议。需要进一步研究以更好地了解响应的可重复性和聊天机器人在患者教育中的临床实用性。


