《Applied Sciences》:A JEPA-Inspired Span-Masked Framework for Language Representation Learning: Revisiting Cosine Similarity and VICReg Regularization
编辑推荐:
联合嵌入预测架构(Joint-Embedding Predictive Architectures,JEPA)近期作为自监督表征学习的一种有前景范式而出现,其通过从部分观测中预测潜在嵌入而非重建原始输入来开展工作。尽管JEPA在计算机视觉和大规模语言模型中已展
联合嵌入预测架构(Joint-Embedding Predictive Architectures,JEPA)近期作为自监督表征学习的一种有前景范式而出现,其通过从部分观测中预测潜在嵌入而非重建原始输入来开展工作。尽管JEPA在计算机视觉和大规模语言模型中已展现出可观成效,但面向自然语言轻量级JEPA启发式表征学习框架的设计仍理解不足。研究人员提出一种轻量级跨度掩码JEPA启发式框架,将语言表征学习表述为基于部分观测上下文输入的潜在语义预测。该框架预测由动量更新编码器生成的目标嵌入,同时避免直接的词元重建,从而强调语义抽象而非词法恢复。为探究目标函数设计的影响,在相同架构与训练条件下系统比较余弦相似度与方差-不变性-协方差正则化(Variance–Invariance–Covariance Regularization,VICReg),并考察有无辅助掩码语言建模(Masked Language Modeling,MLM)监督。所提框架在一个受控数据集与六个基准数据集(包括AG News、SST-2、IMDb、TREC、DBPedia与Yelp Polarity)上评估。实验结果一致表明,无辅助MLM监督的基于余弦的JEPA目标在表征质量、计算效率与下游线性探测性能间提供最佳平衡。采用Friedman检验与带Holm校正的配对Wilcoxon符号秩检验的统计分析进一步确认,基于余弦的目标显著优于其余配置,而VICReg在有/无MLM监督间无显著差异。研究结果表明,在所提轻量级框架下仅潜在语义预测即足以学习鲁棒语言表征,而辅助词元级重建虽增加计算成本却未持续改善下游性能。总体而言,本工作为轻量级JEPA启发式语言表征学习中的目标函数设计提供可复现实证证据与实用指导,为未来自监督语言模型提供高效实验基础。
研究背景方面,现代序列与时空数据工程应用(含自然语言处理、交通预测与传感器系统)中,从大规模无标签数据学习有效表征是基本问题。Transformer架构凭借自注意力机制主导长程依赖建模,自监督学习(Self-Supervised Learning,SSL)进一步利用无标签数据提升表征质量。NLP中自回归下一词元预测强调表面词元与短程依赖,BERT式掩码语言建模(MLM)通过双向上下文重建掩码词元缓解该问题,但重建目标仍紧绑离散词元预测,易致词法记忆而非抽象表征。计算机视觉中对比与非对比方法(SimCLR、MoCo、BYOL、SimSiam、MAE)及联合嵌入预测架构(JEPA、I-JEPA)推动从原始重建转向潜空间预测。JEPA用上下文编码器预测动量目标编码器的嵌入,免重数据增强,具工程吸引力;但NLP中JEPA研究多聚焦架构而非目标函数,且余弦相似度与VICReg在掩码JEPA语言模型中的系统比较有限,潜预测与辅助MLM交互亦未充分研究。为此,研究人员构建受控轻量级跨度掩码JEPA框架,系统分析目标设计与表征行为。
关键技术方法上,研究人员采用单Transformer编码器层、48维嵌入的轻量架构;上下文编码器、潜预测器与指数移动平均(EMA)目标编码器构成JEPA主体,目标编码器参数以动量系数更新且停梯度;掩码采用定长连续跨度掩码至预设比例;目标函数对比余弦相似度距离与VICReg(含不变性、方差、协方差三项损失),并设有无辅助MLM头(辅助交叉熵)的消融;优化用AdamW,200步训练、批大小64、5随机种子重复;评估用冻结编码器+均值池化序列嵌入+线性探测分类,以验证准确率选模,报测试准确率与宏F1;统计用Friedman与Holm校正Wilcoxon检验。数据含130词表、最长24词元的2000句受控集,及AG News、SST-2、IMDb、TREC、DBPedia、Yelp Polarity六个公开基准。
研究结果部分,按原文小节浓缩如下。3.1问题表述:将输入词元序列经掩码算子分为上下文与被掩目标位,学从可见上下文预测掩码位潜表征的函数。3.2联合嵌入预测架构:上下文编码器得潜表示,预测器由上下文嵌出预测目标嵌,目标编码器EMA更新提供参照且不回传梯度。3.3训练目标:3.3.1余弦相似度目标最小化预测与目标嵌余弦距离;3.3.2 VICReg损失为不变性+方差+协方差加权合,方差项防崩溃、协方差项降维间冗余。3.4辅助MLM监督:可选MLM头加交叉熵,总损失为JEPA损失与λ·MLM损失之和。3.5跨度掩码:连续跨度掩码至定比,促短语级语义依赖。3.6表征评估:冻结编码器训线性分类器于均值池化嵌入。3.7训练流程:初始化、采样、跨度掩码、上下文编码、潜预测、目标编码停梯、算JEPA损、可选MLM损合并、更新上下文与预测器、EMA更新目标编码器;AdamW解耦权衰。
第4节实验与结果中,4.1数据集:受控集作分析工具非真实基准,另加三分类/情感基准。4.3模型配置:轻量单层Transformer、48维、EMA目标编、可选MLM头,超参全固定。4.5训练协议:200步、批64、AdamW、5种子。4.6评估协议:线性探测隔离嵌入质量。4.7结果分析:表4–表8显示余弦无MLM在受控集与AG News、IMDb等基准线性探测最优;VICReg单用稍低但加MLM受益;MLM头增约9%参量与训练时耗但不稳增下游宏F1;定性上无MLM预测语义相关但词面多样,有MLM更词面贴合。4.8目标函数效应:余弦无MLM最强;余弦加MLM略降,示词法偏置;VICReg加MLM在受控集提精度但在大基准常降宏F1。4.9统计显著性:Friedman(χ2显著,p<0.05)拒等效原假;Wilcoxon+Holm示COSINE|NO-MLM显著优于余三者(p<0.05),VICREG与VICREG+MLM不显著;平均秩COSINE|NO-MLM为1.717最低。4.10计算效率:MLM头在小集开销微,大集(AG News 41.64s→192.65s,IMDb 43.50s→213.86s)时耗显增。4.11定性分析:同4.7定性结论。
讨论部分指出,潜语义预测与词元重建优化不同面向,轻量容量下或竞争;统计检验支持余弦无MLM最优,VICReg对MLM不敏感;框架价值在轻量可控实验平台,适边端AI与嵌式NLP;局限含单层小架构不与BERT等大模型比、仅线性探测未微调、固定跨度掩码、未测多语与更多任务。结论部分翻译如下:本文提出轻量级JEPA启发跨度掩码自监督语言表征框架,主究目标函数与辅助MLM在受控下如何影响语义表征。在受控集与六基准(AG News、SST-2、IMDb、TREC、DBPedia、Yelp Polarity)上,无辅助MLM的余弦JEPA目标在表征质量、效率与线性探测间最佳;VICReg正则稳但受MLM益依数据集;MLM常增成本不稳提宏F1;Friedman与Holm-Wilcoxon证余弦无MLM显著最优,平均秩最低。示轻量JEPA下仅潜语义预测足学鲁棒表征,辅助词元重建须慎入以免竞优弱抽象。框架为轻量SSL语言模型目标设计供实证与平台,适资源受限NLP;局限同讨论,未来扩至大架构、自适应掩码、多语、微调与检索基准。论文发表于《Applied Sciences》。