《Frontiers in Pediatrics》:Age-specific agreement between Hi-DongDong and UTAP-2 articulation assessments in Korean children aged 2–13 years
编辑推荐:
摘要翻译:背景:数字化的构音评估方法日益被提出,以扩大言语-语言评估的可及性,然而数字与传统词表所引发的言语表现在不同年龄组间的可比性仍未得到充分理解。方法:本研究评估了新型数字化构音评估工具Hi-DongDong词表与韩国标准参考工具“Urimal构音与音系
摘要翻译:背景:数字化的构音评估方法日益被提出,以扩大言语-语言评估的可及性,然而数字与传统词表所引发的言语表现在不同年龄组间的可比性仍未得到充分理解。方法:本研究评估了新型数字化构音评估工具Hi-DongDong词表与韩国标准参考工具“Urimal构音与音系测试2”(UTAP-2)在505名2–13岁典型发育韩国儿童中的年龄特异性一致性。每名儿童的音频录音由三名独立的言语-语言病理学家分别使用两种工具进行评分。辅音正确率指标——辅音正确百分比(PCC)、其修订版及其总分——以及整词正确率的评分者间一致性,采用组内相关系数(ICC)、Bland-Altman偏倚与一致性界限(LoA)及线性混合效应模型进行评估。结果:所有指标的评分者间信度均为优秀(ICC ≥ 0.995)。在总体水平上,未观察到显著的工具×年龄或工具×年龄2交互作用,表明Hi-DongDong与UTAP-2的年龄相关发展轨迹无显著差异,但PWC在平均中心化年龄处显示了显著的工具主效应,Hi-DongDong得分低于UTAP-2。然而,个体水平的一致性强烈依赖于年龄。9岁和12岁时的低ICC值与狭窄的LoA及天花板压缩分数同时出现,表明这些低ICC是方差受限的假象而非真实不一致。相比之下,4岁和7岁显示出低ICC伴随宽LoA,反映了快速或过渡性音系发展期间的真实测量差异。在学龄儿童(7岁及以上)中,偏倚可忽略(在±1个百分点以内),LoA较窄(约8–24个百分点),而学龄前儿童显示出显著更宽的个体水平LoA。此外,Hi-DongDong在比仅含单元音的UTAP-2更宽的发展范围内,对辅音和元音(包括双元音)均保持了区分敏感性。讨论:这些发现支持Hi-DongDong作为一种跨发展的补充性构音词表评估工具,同时强调本研究评估的是词表之间由临床医生评分的的一致性,而非自动化诊断性能。临床试验注册:https://clinicaltrials.gov/study/NCT07273370?term=NCT07273370&rank=1, NCT07273370
论文解读
一、研究背景与问题
言语声音障碍(SSD)若未及早识别和干预,可能与读写能力受损及长期学业困难相关。然而,及时、高质量的言语-语言评估服务分布不均,服务不足或地理偏远地区的家庭面临训练有素的言语-语言病理学家(SLP)短缺、自付费用高昂以及反复到访诊所的 logistical 负担。远程康复和数字健康技术为缓解这些系统性不平等提供了可行方案,人工智能(AI)和自动语音处理推动了数字化构音评估工具的发展。Hi-DongDong即是由23名临床医生组成多学科专家小组,通过三轮德尔菲流程开发的包含35个目标词的新型数字化构音评估工具。尽管数字健康评估工具在总体人群水平上可能显示有效,但总体汇总结果可能掩盖临床相关亚组间的意义差异。此前关于远程体格检查的研究提示特定年龄组(如婴儿)存在性能局限,表明年龄因素可能关键影响儿科数字评估的有效性。然而,目前尚无研究系统检验数字化构音评估工具与标准参考工具间的一致性是否随年龄而变化,尤其是在典型发育的韩语儿童中。由于儿童期语音发展具有快速、非线性轨迹,不同发展阶段(2–3岁词水平阶段、3–6岁学龄前阶段、7岁及以上学龄阶段)工具与参考标准的一致性可能存在差异。因此,本研究旨在检验Hi-DongDong与韩国标准参考工具Urimal构音与音系测试2(UTAP-2)词表在2–13岁典型发育儿童中的年龄特异性一致性,为临床决策和工具应用提供年龄分层证据。
二、研究设计与方法
研究招募505名2–13岁无语言迟缓或健康问题史的典型发育韩语儿童,平均年龄7.45±2.52岁,其中男孩254名(50.3%),女孩251名(49.7%),37.2%居住于 metropolitan 地区,62.7%居住于非都市地区。评估在受试者家中或研究设施的安静独立空间内进行,看护人或治疗师监督下完成目标词发音,所有话语在单次标准化条件下以音频记录。音频经过匿名化处理后,分发给三名独立SLP(平均临床经验12.3±7.51年,含两名博士级专家和一名博士候选人)进行异步评分;实施严格分配隐藏以避免评分者偏倚。每名评估者独立对两种工具各评分一次,每名儿童共产生六次独立评估。两种工具均采用人工评分以保证相同评分条件下可直接比较。
主要结局指标包括辅音正确百分比(PCC)、修订辅音正确百分比(PCC-R)、总PCC、总PCC-R、整词正确比例(PWC)、音系平均语句长度(PMLU)以及元音正确百分比(PVC)。统计分析使用R 4.5.2版。评分者间信度采用双向混合效应ICC(绝对一致性、平均测量单位)。工具间一致性采用双向混合效应ICC(绝对一致性、单测量单位),按年龄和年龄组(学龄前2–6岁;学龄7–13岁)分别计算。Bland-Altman分析评估系统偏倚和个体水平的一致性界限(LoA)。为检验一致性是否随龄变化,分别对PCC、总PCC和PWC拟合线性混合效应模型(LMM),将工具类型、年龄、性别、居住区域作为固定效应,参与者作为随机截距;同时纳入线性和二次年龄项及其与工具类型的交互。PMLU因两词表长度不同(Hi-DongDong 35词,UTAP-2 30词)排除于一致性分析;PVC因UTAP-2在学龄组中完全天花板效应排除于分层统计比较。
三、主要结果
(一)参与者人口学特征:共505名儿童,年龄2至13岁,7岁组人数最多(n=93),2岁组(n=7)和13岁组(n=10)人数最少。
(二)描述统计与年龄轨迹:9–13岁儿童在PCC、PCC-R、总PCC、总PCC-R和PVC上出现天花板效应。除UTAP-2测得的PMLU和PVC外,2岁组平均分高于3岁组(但2岁组样本量仅7,需谨慎解释)。从3岁起,PCC、PCC-R和PWC均值总体上升至9岁,总PCC和总PCC-R上升至10岁。所有指标在3至4岁间显著增加。Hi-DongDong的PCC均值在9岁后不再上升(99.1±1.3%),UTAP-2则持续微升至10岁(99.2±1.6%)。而PVC方面,UTAP-2于4岁后不再有意义增长(99.6±2.4%),Hi-DongDong则逐步升至9岁(98.6±2.2%)。
(三)评分者间信度:所有指标在两种工具上评分者间信度均优秀(ICC≥0.995)。三名评分者中有两人未记录任何扭曲错误,一人记录少数扭曲错误,但PCC-R和总PCC-R的ICC仍≥0.999。
(四)年龄特异性工具间一致性:ICC和Bland-Altman LoA随年龄组变化显著。学龄前儿童中,2岁和3岁辅音准确度指标一致性良好(ICC=0.78–0.89),LoA较宽(如2岁PCC:?21.85至18.82);4岁组辅音准确度ICC为所有年龄组最低(PCC ICC=0.42,总PCC ICC=0.46),且LoA为全数据最宽(PCC:?25.14至27.29;PWC:?38.71至42.88);5、6岁组PCC和PWC一致性中等(ICC=0.72–0.76),LoA渐窄。学龄儿童中,LoA一致较窄,但ICC值变动大:11岁一致性良好(PCC ICC=0.801),8岁和10岁中等(0.602和0.753),而7岁、9岁和12岁虽LoA窄(如9岁PCC:?4.66至3.67;12岁PCC:?2.72至2.21),ICC却低(0.260、0.388、0.314)。13岁组因样本量小(n=10)ICC低至中等且置信区间宽。
(五)年龄组间的一致性:学龄前组(2–6岁,n=181)ICC为中等至良好(0.773–0.827),但95% LoA宽(约30–50个百分点);学龄组(7–13岁,n=324)ICC较低(0.484–0.574),但LoA窄(约8–24个百分点)。两组偏倚均小(学龄前±2.25个百分点内,学龄±1个百分点内)。ICC与LoA呈现分离模式:学龄前ICC高而LoA宽,学龄组ICC低而LoA窄。
(六)线性混合效应模型固定和随机效应:PCC、总PCC和PWC均采用二次年龄模型(似然比检验显著优于线性模型)。PCC中,年龄为显著预测因子(b=1.656,p<.001),年龄2项显著为负(b=?0.422,p<.001),表明随年龄增长但加速度递减。Hi-DongDong与UTAP-2的主效应不显著(b=0.075,p=0.802)。性别不显著,区域显著(非都市儿童比都市儿童高2.07个百分点)。Hi-DongDong×年龄及Hi-DongDong×年龄2交互均不显著。PWC模型中,Hi-DongDong在平均中心化年龄处显著低于UTAP-2(b=?1.892,p<.001),但工具×年龄及工具×年龄2交互不显著。排除残差绝对值大于3的七项观察的敏感性分析结果模式相似。
四、讨论与结论
本研究通过联合解读ICC与LoA,区分了两种低ICC的来源:9岁和12岁组的低ICC伴随窄LoA和95%–100%区间内的分数压缩,属于天花板效应导致的方差受限而非真实不一致;4岁和7岁组则无天花板且样本量足够(7岁n=93),低ICC伴随宽LoA,反映快速或过渡性音系发展阶段的真实测量差异。词表在词汇构成、词语长度、音节结构、目标辅音频率和位置分布上的差异可能解释4岁和7岁的一致性偏低,但未直接检验。PCC与PCC-R(以及总PCC与总PCC-R)的对称偏倚表明不一致主要源于扭曲辅音的差异计分。PWC绝对水平的显著工具差异可能源于两词表仅有7个重叠词汇;但发展轨迹无差异。元音方面,UTAP-2仅含单元音,4岁即达天花板,而Hi-DongDong包含双元音,PVC持续增至9岁,提供更宽发展范围的区分敏感性。区域差异(非都市儿童得分较高)与既往部分研究不完全一致,需谨慎解释。性别仅对PWC显著,显示男孩PWC低于女孩,但辅音指标无性别差异。
研究的局限性包括:年龄组样本量不均衡(2岁和13岁ICC不稳定);仅纳入典型发育儿童;典型发育状态基于看护者报告而非正式筛查;开发者参与工具验证可能存在偏倚;未评估自动化评分性能;尚无临床可接受的LoA阈值;残差分布偏离正态且存在方差递减;年龄以年而非月记录。尽管如此,本研究的年龄分层模式为Hi-DongDong即将实施的AI自动化评分提供了具体基准。
结论:在505名2–13岁典型发育韩语儿童中,Hi-DongDong与UTAP-2在总体水平无显著差异,但个体水平一致性强烈依赖年龄。联合解读ICC与Bland-Altman LoA至关重要:9岁和12岁低ICC是天花板诱导方差受限的假象,而4岁和7岁低ICC伴宽LoA反映真实测量差异。Hi-DongDong在比仅含单元音的UTAP-2更宽的发展范围内对辅音和元音(包括双元音)保持区分敏感性,一次施测可覆盖更广音系结构。临床上,Hi-DongDong可作为学龄儿童(7岁及以上)构音评估的可行标准化替代工具(UTAP-2在该年龄无常模数据),但在学龄前儿童中应作为补充而非替代工具使用。这些年龄分层发现为即将推出的AI自动化评分提供了验证基准。