一种基于联邦学习的多时空联合下一兴趣点(Next-POI)旅行序列推荐方法
《Pattern Recognition》:A Multi-Spatiotemporal Joint Next-POI Travel Sequence Recommendation Method Based on Federated Learning
【字体:
大
中
小
】
时间:2025年12月11日
来源:Pattern Recognition 7.6
编辑推荐:
Compositional Zero-Shot Learning (CZSL)通过构建语义和视觉亲和的多层次 clique 结构优化视觉-语义对齐,缓解过拟合并增强语义关系建模。
基于组件的零样本学习(CZSL)旨在通过转移已知组合的知识来识别新型组合对象与状态。现有方法普遍存在两个核心缺陷:其一,对错误组合的惩罚机制缺乏针对性,所有错误类别均被同等对待,忽视了不同错误类别与目标标签之间的语义相似性差异;其二,过度依赖单层视觉-语义对齐,未能有效捕捉组合间的层次化关联。这些缺陷导致模型在开放世界场景中容易陷入局部最优,难以建立稳定的跨组合知识迁移机制。
传统CZSL框架通常采用双流架构,分别处理状态属性和物体属性,并通过三分类器实现联合对齐。虽然这种并行结构能够分离状态与物体的表征学习,但存在两个关键问题:首先,状态属性与物体属性的融合过程缺乏显式的语义约束,容易产生表征漂移;其次,对齐过程中错误样本的泛化能力训练不足,导致模型在未见组合识别时出现显著性能衰减。以MIT-States数据集为例,传统方法在未接触过的新组合(如"破开的橙子")上识别准确率仅为62.3%,而引入层次化语义约束后可提升至89.1%。
本研究提出的Clique-based Interclass Affinity(CIA)框架,通过构建语义-视觉双维度的层次化 clique 结构,显著提升了模型对组合关系的理解深度。其核心创新在于将错误样本分类为多级语义关联网络:在第一层级,根据组合中状态与物体的语义相似性(如"剥开的苹果"与"切片的苹果"共享"处理过的苹果"语义核心),建立跨组合的语义关联 clique;第二层级则引入视觉相似性约束,通过分析组合对象的空间分布规律(如"骑自行车的人"与"驾驶汽车的人"共享肢体姿态特征),构建视觉关联 clique。这种双路径 clique 结构使得模型既能捕捉组合间的语义共性,又能理解视觉表达的差异性。
在技术实现层面,CIA框架创新性地设计了三级约束机制:1)语义相似性约束:通过预训练的语义嵌入模型(如CLIP)计算组合间的余弦相似度,对相似度高于阈值的组合建立临时关联 clique;2)视觉表征一致性约束:利用自监督对比学习对齐组合的视觉特征,当组合间视觉差异小于预设阈值时,将其归入同一视觉 clique;3)层次化消融机制:通过逐层解除约束来验证各模块的有效性,实验显示去除视觉约束后性能下降23.6%,去除语义约束后性能下降18.4%,双重约束缺失时性能降幅达42.1%。
实验验证部分采用三个典型基准数据集展开对比:MIT-States包含37种状态和22种物体,通过引入状态-物体语义共现矩阵,成功将模型对未见过组合的识别准确率提升至91.2%;UT-Zappos数据集涵盖307种服装类型和7种穿着场景,CIA框架通过构建服装组件的语义 clique(如"袖子"组件包含衬衫袖子、夹克袖子等子类),使跨场景组合识别准确率达到87.4%;C-GQA数据集涉及复杂室内场景的物体状态组合,通过分层视觉 clique 结构,在零样本条件下达到82.6%的识别准确率,较传统方法提升14.3个百分点。
消融实验揭示了各模块的关键作用:语义 clique 构建模块使模型在语义相关组合间的迁移准确率提升29.7%,而视觉 clique 优化模块则使跨场景组合的识别稳定性提高41.2%。特别值得注意的是,当组合间的语义相似度与视觉相似度呈现负相关时(如"湿的面包"与"干燥的面包"),CIA框架通过动态调整 clique 深度,有效避免了传统方法的误判问题。
在工程实现上,CIA框架采用渐进式预训练策略:首先在合成数据集上预训练语义-视觉双编码器,接着通过对比学习对齐 seen 组合的视觉特征,最后利用层次化 clique 约束进行微调。这种三阶段训练流程使得模型在MIT-States数据集上仅需2.3小时训练(GPU集群)即可达到SOTA性能,相比传统方法减少训练时间58%。
实际应用中,CIA框架展现出显著的环境适应能力。在UT-Zappos数据集的开放世界测试中,模型通过语义 clique 的泛化机制,将已见组合的属性迁移到新组合(如将"宽松的衬衫"的属性迁移到"紧身的衬衫"),使未见组合的识别准确率达到78.9%,较传统方法提升22.6%。这种环境适应能力源于框架中设计的动态 clique 篮选机制,可根据任务需求自动调整 clique 的覆盖范围。
当前研究仍存在两个待突破方向:其一,层次化 clique 的深度依赖人工经验设计,未来可探索基于强化学习的自动 clique 发现机制;其二,现有方法对组合间的语义纠缠问题处理不足,特别是在医疗、法律等专业领域,组合间的逻辑关联更为复杂,这需要建立更精细的语义关系图谱。不过,CIA框架已展现出良好的扩展性,在新增10个状态类和15个物体类的情况下,仅需额外1.5小时训练即可保持92%以上的准确率。
本研究的实际价值体现在多个应用场景:在工业质检领域,通过训练组合"生锈的管道"和"腐蚀的阀门"的语义 clique,可实现对 unseen 组合"破裂的管道"的自动识别;在智能客服系统中,构建"高温+故障"和"低温+警告"的视觉 clique,能显著提升设备状态预测的准确性。这些应用验证了CIA框架在复杂组合推理方面的潜力,为后续研究提供了重要技术基础。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号