“一次下毒,骗倒多人”:针对文本到图像检索系统的实际投毒攻击方法

《Knowledge-Based Systems》:Poison Once, Fool Many: Practical Poisoning Attacks against Text-to-Image Retrieval Systems

【字体: 大 中 小 】 时间:2025年12月13日 来源:Knowledge-Based Systems 7.6

编辑推荐:

  针对文本到图像检索系统存在的数据投毒攻击漏洞,本文提出Collisio方法,通过预期查询(EoQ)策略生成多组语义等价查询变体,并优化单张投毒图像以匹配所有变体,确保攻击在用户语义变体查询中有效。实验表明该方法在CLIP、BLIP-2等模型及Flickr30k、MSCOCO数据集上显著提升攻击成功率,并验证了对抗训练和JPEG压缩等防御措施的必要性。

  
本文聚焦于文本到图像检索系统(Text-to-Image Retrieval, IR)的安全威胁,提出了一种名为“Collisio”的新型数据投毒攻击方法。研究揭示了当前广泛应用的预训练视觉语言模型(VLPs)在应对用户查询语义多样性时的重大安全隐患,并通过系统性实验验证了攻击的有效性和防御的局限性。

### 一、问题背景与威胁分析
文本到图像检索系统通过将图像和文本映射到共享的语义空间实现精准匹配。这类系统严重依赖公开预训练的VLP模型(如CLIP、BLIP-2等),但存在两个关键漏洞:
1. **数据投毒的隐蔽性**:攻击者无需完全控制用户查询即可实现投毒。传统攻击假设攻击者已知用户查询的精确表述(如“气候变化纪录片”),但现实中用户可能使用“全球变暖影响报告”等语义等效变体。
2. **多源数据依赖**:VLP模型广泛集成于分布式数据库(如医疗影像共享平台、公共监控网络),但不同数据源的安全监控存在差异,导致投毒数据易被长期潜伏。

### 二、攻击方法论:Collisio
#### 1. 核心策略:语义期望对齐(Expectation over Queries, EoQ)
- **查询变换策略**:基于目标查询生成多组语义等效变体,包括:
- **同义词替换**(TrSyn):通过权威词表(WordNet)和上下文校验(spaCy)确保替换的合法性。
- **大语言模型(LLM)生成**(TrLLM):使用Mistral-24B模型生成多样化查询,覆盖语法正确和语义一致的双重条件。
- **多模态生成**(TrIC):通过调用BLIP-2 API,利用系统检索的图像生成对应的多模态描述(如“儿童与成人相似的面部特征”),实现视觉语义对齐。
- **查询筛选机制**:
- **随机采样(SelRand)**:简单随机选择N个查询变体。
- **相似性优化(SelSim)**:基于目标查询的语义嵌入,选择与目标最接近的N个变体,减少噪声干扰。

#### 2. 特征对齐优化(Robust Feature Alignment)
- **多目标优化框架**:通过梯度上升法在L∞约束范围内优化投毒图像,使其同时匹配目标查询及其语义变体的文本嵌入。
- **对抗训练技巧**:利用图像 captioning 生成查询变体(TrIC策略),通过多轮迭代确保投毒图像在视觉特征(ViT/CNN编码)和文本语义(LLM生成)的交叉验证中达到最优匹配。

### 三、实验验证与结果
#### 1. 基础攻击效果
- **攻击成功率(ASR)**:
- **CLIP ViT/CNN**:在低预算(ε=4/255)下,ASR@1达89%以上,高预算(ε=8/255)下提升至92%-94%。
- **BLIP-2**:由于模型语义嵌入更紧密,ASR@1在低预算下仅31%,但通过高预算优化(ε=8/255)提升至49%。
- **关键发现**:
- **语义覆盖广度**:使用15组查询变体(n=15)时,BLIP-2的ASR@5达88.4%,较基础模型提升5.5%。
- **跨模型泛化**:对公平训练的FARE模型(FARE2/FARE4),ASR@1仍达33.7%-38.4%,证明对抗训练难以完全消除漏洞。

#### 2. 防御措施有效性评估
- **对抗训练模型(FARE)**:
- FARE2在ε=8/255时ASR@1降至38.4%,较原始模型下降46.9%。
- FARE4在高预算下ASR@1稳定在20%以下,但牺牲了10%-15%的检索准确率。
- **数据预处理防御(JPEG压缩)**:
- JPEG99压缩使ASR@1从89.2%降至78.5%,压缩率每降低10%(如JPEG89),ASR@1降幅达4.2%-5.8%。
- **质量-安全权衡**:JPEG89在ε=24/255时仍保持47.7%的ASR@5,但图像失真度达12.3%。

#### 3. 非目标查询影响
- **系统鲁棒性验证**:对30个随机目标图像进行投毒后,原系统在未投毒图像上的R@1仅下降2.8%-4.2%,证明攻击具有选择性。
- **跨数据集泛化**:在MSCOCO数据集上,BLIP-2的ASR@5达62.8%,较Flickr30k场景下降8.4%,验证模型特性差异。

### 四、防御策略与挑战
1. **对抗训练优化**:
- FARE4在ε=16/255时仍保持ASR@5<40%,但计算成本增加30%。
- **模型瓶颈**:BLIP-2的ITM分数优化使ASR@5下降15%,表明多任务学习可能引入性能折损。
2. **数据预处理瓶颈**:
- JPEG89压缩后,FARE4的R@5仍保持62.3%,但图像质量评分(PSNR)从37.8降至29.1。
- **自适应攻击风险**:若攻击者能逆向推导压缩参数,可能通过调整投毒强度规避防御。

### 五、研究启示与未来方向
1. **行业实践建议**:
- **模型更新周期**:建议每季度更新VLP模型版本,减少对抗训练的累积效应。
- **数据清洗机制**:部署JPEG89级压缩(PSNR≥30)作为标准预处理,可降低ASR@5至45%以下。
2. **研究改进方向**:
- **动态防御体系**:结合用户查询日志分析,动态调整压缩参数(如根据威胁等级自动切换JPEG质量)。
- **跨模态认证**:开发基于图像物理属性的验证模块(如材质纹理分析),降低视觉欺骗的成功率。

### 六、伦理与社会影响
研究团队强调攻击的伦理边界,承诺将成果用于模型安全增强而非恶意应用。但需警惕:
- **医疗影像投毒**:若投毒图像被植入放射学数据库,可能导致误诊率上升至12.7%(基于当前攻击成功率推算)。
- **法律取证风险**:监控系统被投毒后,重要证据可能被低质量图像(如压缩损失超过15%)替换。

### 七、技术局限性分析
1. **查询生成范围**:当前仅覆盖10%-15%的语义等效变体,极端情况下可能遗漏关键查询(如“碳中和纪录片”与“气候行动报告”)。
2. **模型版本依赖**:FARE4在MSCOCO上的防御效果优于BLIP-2,但需更高算力(GPU显存需求增加40%)。
3. **跨平台适配问题**:未验证投毒效果在移动端(如CLIP-MOBILE)或边缘计算场景的可行性。

### 八、结论
Collisio揭示了文本到图像检索系统的根本性脆弱性:当用户查询呈现语义多样性时,仅需单个投毒样本即可实现跨查询的检索操纵。实验表明,对抗训练模型可降低风险30%-50%,而数据预处理需在准确率(>80%)与安全性(PSNR≥30)间平衡。未来需发展自适应防御框架,结合查询日志分析和动态模型微调,才能有效应对这类新型攻击。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号