基于多模态特征的有监督选择图像生成方法,用于语义通信

《IEEE Transactions on Communications》:Image Generation With Supervised Selection Based on Multimodal Features for Semantic Communications

【字体: 大 中 小 】 时间:2025年12月25日 来源:IEEE Transactions on Communications 8.3

编辑推荐:

  语义通信中多模态信息融合的图像生成框架研究。本文提出基于CNN和CLIP的多模态语义通信框架,通过图像与文本的联合语义特征提取,结合扩散模型生成并优选最小重构误差图像,扩展至多用户正交传输场景,实验验证其在低SNR条件下实现图像高保真传输和性能增强。

  

摘要:

语义通信(SemCom)作为一种有前景的技术,正在为下一代通信系统的发展做出贡献。在这种技术中,接收端能够在恢复语义特征的基础上生成所需内容。然而,现有的大多数研究主要使用单一类型的语义信息(如文本、图像或语音)来监督和选择生成的源信号,这些信息可能无法充分涵盖全面且准确的语义内容,从而成为性能瓶颈。为了解决这一难题,本文提出并研究了一个利用多模态信息来监督生成图像的SemCom框架。具体而言,在该框架中,我们首先使用卷积神经网络(CNN)架构和对比语言-图像预训练(CLIP)模型在图像和文本层面提取语义特征,然后通过生成扩散模型在接收端生成多张图像。为了确保准确提取特征并实现高保真图像重建,我们综合考虑了辅助图像和文本的语义特征,选择重建误差最小的“最佳”图像。此外,我们将多模态语义通信(MMSemCom)系统扩展到多用户场景以实现正交传输。实验结果表明,与现有通信系统相比,所提出的框架不仅在图像传输方面实现了更高的保真度和鲁棒性,而且在低信噪比(SNR)条件下也能保持高性能。

引言

无线数据流量的呈指数级增长,加上通信任务的日益复杂,迫切需要开发更高效、更智能的通信系统。传统的基于香农的通信框架[1]虽然奠定了基础,但在应对增强现实、自动驾驶汽车和物联网(IoT)等新兴应用的需求时面临重大挑战。这些应用不仅要求高数据传输速率,还要求低延迟、高可靠性和上下文感知的通信[2]、[3]。语义通信(SemCom)从根本上将重点从信号的精确复制转向了信息的核心意义或意图的传输[4]。这种范式的转变与人们日益认识到的事实相符:在许多现代应用中,目标不仅仅是简单的信号复制,而是基于传输的信息来促进特定任务或决策的制定。通过强调语义,这些系统有潜力减少冗余、提高资源利用率,并提升最终用户的服务质量。在这种动态背景下,SemCom已成为下一代无线通信的一个有前景的方向,有望在效率、可靠性和智能化方面实现显著进步[5]。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号