《Frontiers in Digital Health》:Beyond classification metrics: a psychometric-aware benchmark for data augmentation in imbalanced student mental health surveys
编辑推荐:
基于机器学习的学生调查数据抑郁筛查可辅助临床评估,但面临两类障碍:类别不平衡(导致紧急少数类案例预测不足)以及合成增强数据保留心理测量学有效性的未经证实假设。尽管近期研究已开始评估合成调查数据的分布保真度,但尚无研究在增强学生心理健康数据集上同时系统性地评测分
基于机器学习的学生调查数据抑郁筛查可辅助临床评估,但面临两类障碍:类别不平衡(导致紧急少数类案例预测不足)以及合成增强数据保留心理测量学有效性的未经证实假设。尽管近期研究已开始评估合成调查数据的分布保真度,但尚无研究在增强学生心理健康数据集上同时系统性地评测分类效用与经典结构效度指标。本研究旨在利用双轴评估框架对八种数据增强策略的分类效用与结构效度进行基准比较。研究人员评估了不增强、随机过采样、SMOTE、BorderlineSMOTE、ADASYN、CTGAN、TVAE以及提出的心理测量学约束表格生成对抗网络(Psychometric-Constrained Tabular GAN,PCT-GAN)在三个公共数据集(PHQ-9:n=682;Student Depression:n=27,837;DASS-42:n=26,459)上的四种分类器(随机森林、XGBoost、SVM、MLP)在5折交叉验证下的表现。PCT-GAN在条件Wasserstein-GAN-with-gradient-penalty基础上扩展了两个心理测量学正则化项:(1)保留条目主成分结构的因子重构损失;(2)最小化条目间相关偏差的相关系数保持损失。分类效用通过Macro-F1、ROC-AUC、G-mean和MCC进行评估;心理测量学效度通过Cronbach's α、Tucker一致性系数和Frobenius范数偏差进行评测。总体而言,八种方法在Macro-F1上无统计学差异(Friedman χ2=10.44,p=0.17,k=8,N=12)。然而,数据集特异性的模式显现:PCT-GAN联合随机森林在小型不平衡PHQ-9数据上获得最大增益(F1=0.814 vs. 无增强0.785);SMOTE变型在大型DASS-42数据联合神经网络时占主导(F1>0.99)。在心理测量学效度方面,PCT-GAN相较于TVAE将条目间相关偏差降低15%,相较于CTGAN降低31%,同时保持方向正确的Cronbach's α(平均|Δα|=0.045)。相比之下,TVAE在所有三个DASS-42分量表上均将α膨胀至真实数据上限以上——这是心理测量学无效性而非更优保真性的标志。Pareto分析识别出PCT-GAN为唯一同时在分类效用和心理测量学保真度方面排名前三的方法。
## 一、研究背景与问题提出
大学生心理健康恶化已成为全球性公共卫生优先议题。大规模机构数据表明校园抑郁、焦虑及应激障碍的患病率持续上升,疫情后队列中相当比例学生的症状水平已超过临床可干预阈值。传统的临床评估流程——面对面结构化访谈、精神科转诊、随访——难以匹配学生每年快速进出的节奏。在此背景下,基于机器学习的常规调查数据筛查应运而生:通过简短自评条目和情境特征预测个体严重程度类别,ML筛查器可在数秒内对数千名学生进行分诊,标记最需要临床关注的人群。
当代ML筛查器通常训练于结合标准化心理测量工具——最常见的是九项患者健康问卷(Patient Health Questionnaire,PHQ-9)用于抑郁评估,以及42项抑郁焦虑应激量表(Depression, Anxiety and Stress Scale,DASS-42)——与人口统计学及学业情境变量的表格数据。然而,当ML筛查从实验室走向真实临床场景时,两个方法论问题日益凸显:数据层面的类别不平衡,以及测量层面的结构效度(construct validity)问题。本研究即聚焦于解决二者的交互作用。
心理健康调查数据几乎必然类别不平衡。典型临床分布中,大多数受访者报告轻微或轻度症状,而重度及中度严重类别——恰恰是临床最紧急的群体——仅占样本不足20%。本研究基准数据集中的不平衡比从1.41:1(D2近平衡二分类任务)到3.62:1(D3五分类DASS-42分布)不等。即便中度不平衡已足以显著降低少数类召回率,现成分类器在此类数据上系统性低预测少数类,产生"漏检最需要识别学生"的失败模式。当前主流的解决方案是数据增强,涵盖统计过采样(如SMOTE、BorderlineSMOTE、ADASYN)和现代深度生成模型(如CTGAN、TVAE)。然而,既有工作几乎均在文本、图像、生物医学信号等应用领域开展,其数据几何与统计规律迥异于心理健康调查中的条目级心理测量数据。
更为根本的局限在于,现有增强基准仅报告分类指标(准确率、F1、AUC)。这种单维视角适用于合成数据仅作为临时训练燃料、不会下游复用的领域。但在心理学研究中,数据本身具有第二重生命:条目级反应数据常用于因子结构分析、信度估计、测量不变性检验及元分析。在此类二次分析中,结构效度——即观测变量实际测量其所欲测量潜构念的程度——是数据的守门属性。若合成样本虽提升Macro-F1却破坏了PHQ-9的因子结构或DASS-42的条目相关模式,则该数据无法负责任地共享、重分析或与真实样本合并使用。
尽管分类效用与心理测量保真度之间存在明显张力,但在增强学生心理健康数据集上同时测量两个维度的系统研究长期缺位。Jiang等人虽提出合成调查数据评估框架并评估分布保真度,但未应用Cronbach's α、Tucker一致性系数或条目相关保持等经典结构效度指标。本研究正是填补此交叉领域空白的首项系统性尝试。
## 二、核心研究方法与技术路线
### 关键技术方法概述
**样本来源**:三个公共数据集——PHQ-9增强数据集(n=682,Kaggle源,大学年龄受访者)、Student Depression数据集(n=27,837,Kaggle源,印度多所大学生)、DASS-42学生子集(n=26,459,Open Psychometrics源,筛选教育水平为高中或大学且年龄14-30岁的受访者)。
**实验设计**:8种增强方法(不增强、随机过采样、SMOTE、BorderlineSMOTE、ADASYN、CTGAN、TVAE、PCT-GAN)× 4种分类器(随机森林、XGBoost、SVM、MLP)× 3个数据集,在5折分层交叉验证及20%保留测试集下评估。
**PCT-GAN模型架构**:基于条件WGAN-GP(Wasserstein GAN with Gradient Penalty),生成器接收128维标准高斯噪声向量与one-hot类别标签,经两层256单元全连接层(含批归一化与ReLU激活)及线性输出层产生合成特征;判别器采用LayerNorm与LeakyReLU激活。引入两个心理测量学正则化项:(1)因子重构损失——基于真实训练数据提取的各分量表第一主成分组成理想载荷矩阵,惩罚生成数据在该因子子空间上的重构误差;(2)相关系数保持损失——计算生成与真实条目间Pearson相关矩阵的归一化Frobenius距离。权重λ?=λ?=0.1,Adam优化(β?=0.5, β?=0.9, lr=2×10??),训练300epoch,批大小256。
**双重评估框架**:分类效用采用Macro-F1、ROC-AUC(One-vs.-Rest)、G-mean、MCC四种不平衡感知指标;心理测量学效度采用Cronbach's α(内部一致性)、Tucker一致性系数(TCC,因子结构等价性)、Frobenius范数偏差(条目相关结构保持度)三种经典指标。统计显著性通过Friedman检验及Nemenyi临界差图判定。
## 三、研究结果
**总体分类性能**:Friedman检验显示八种方法在Macro-F1上无统计学差异(χ2=10.44,p=0.17),但数据集层面呈现规律性差异。PCT-GAN在平均排名上位列第二(3.80),是唯一与统计过采样族竞争的非过采样深度生成方法。
**PHQ-9数据集(D1,n=682)**:SVM在无增强时已达最优(F1=0.9025),但增强对其反而有害,因其class_weight="balanced"已内置类别加权机制,合成样本引入分布偏移而不解决核心问题。随机森林从中获益最多:PCT-GAN+RF达F1=0.8137,较无增强提升2.9个百分点,为所有方法中RF的最大增益,机制在于RF缺乏SVM式的内置类别加权,且PCT-GAN的因子约束生成器在68样本稀疏 regime 中比SMOTE插值或CTGAN分布学习实现更平滑的外推。
**Student Depression数据集(D2,n=27,837)**:所有方法F1紧密聚类于0.828-0.840,标准差低于0.008。 ML P+TVAE(0.8395)与MLP+无增强(0.8393)几乎等同,验证了大样本近平衡数据上增强边际增益趋零的已知规律。
**DASS-42数据集(D3,n=26,459)**:SMOTE族在MLP上达F1>0.99(BorderlineSMOTE最高0.9940±0.0010),因大量真实少数类样本支持致密插值覆盖。PCT-GAN在所有分类器上保持与非增强基线的竞争力,PCT-GAN+RF(0.8787)超越无增强+RF(0.8514)2.7个百分点。
**心理测量学效度(D3)**:真实数据三个分量表α
real分别为0.953(抑郁)、0.910(焦虑)、0.924(应激)。CTGAN严重低估焦虑分量表α至0.626(偏差达0.28),致合成数据无法用于二次心理测量研究。TVAE在所有分量表上均将α膨胀至真实数据上限以上(0.959/0.961/0.979),此为VAE潜在空间正则化压缩后验变异性的结果,属无效性标志而非更优保真。PCT-GAN各项合成α均略低于真实参考值,平均|Δα|=0.045,属有限样本生成器的方向正确行为。TCC方面三者均≥0.989,但Frobenius范数偏差显示最清晰分离:PCT-GAN为0.0888±0.0061,较TVAE(0.1041±0.0043)改善15%,较CTGAN(0.1294±0.0100)改善31%,配对bootstrap检验p<0.0001。
**性能-效度权衡**:Pareto分析表明,SMOTE族占据高分类效用/未定义效度(因不学习分布模型而难以直接评估)角落;CTGAN双轴均被主导;TVAE虽|Δα|最小但源于向上膨胀的无效路径;PCT-GAN是唯一同时在分类效用(排名前三)和效度(排名第一)前沿的方法。
**跨数据集泛化模式**:增强增益与数据集大小成反比,与不平衡比成正比,与心理测量学正则化强度正相关。PCT-GAN在每个数据集上均进入前三,是唯一达成此双重排名的方法。
## 四、讨论与结论
本研究的核心论点是:结构效度感知生成不仅是一种方法,更是一种范式——当合成数据将用于二次测量研究时,生成器目标必须编码目标工具的有效性标准。PCT-GAN通过两个完全可微正则化项将此范式操作化,配合双重评估框架,得出四项实证发现:第一,单以Macro-F1评估时八种方法无统计差异(Friedman p=0.17),揭示单指标基准的局限;第二,按数据集分层呈现规律性的regime-specific优胜者;第三,PCT-GAN在心理测量效度上实现统计显著的相关结构保持改善(15%-31%);第四,Pareto分析确证PCT-GAN的唯一双前沿地位。
实际应用层面,研究提出目的驱动的增强策略:若合成行仅为临时训练燃料,SMOTE族仍是成本效益最优选择;若合成行将共享、重分析或与真实样本合并用于二次心理学研究,则PCT-GAN是目前测试方法中唯一提供方向正确可靠性保持且Frobenius偏差最小的候选。对于大样本近平衡数据(D2 regime),应跳过增强以节省计算资源。
研究局限包括:D3存在自我选择偏差("极重度"类占34.4%);TCC计算采用PCA代理而非完整验证性因子分析;PCT-GAN超参数固定未搜索;不平衡比为中度(1.41:1至3.62:1),未覆盖临床极端情形;D2缺乏标准化量表致心理测量分析受限;单随机种子(42)运行;未纳入LLM-based表格生成器(如GReaT、TabLLM);仅评估横截面效度。未来方向包括:向多模态心理健康数据扩展、结合LLM进行条文笔述变体增强、扩展至其他纵向心理测量情境、探究完整CFA-based损失函数的潜力,以及验证"有效性感知生成AI"原则在更广泛领域的适用性。
本研究发表于《Frontiers in Digital Health》。