《Digital Signal Processing》:Privacy-Preserving Adversarial Speech Generation via Nesterov Momentum
编辑推荐:
语音深度伪造(deepfake)可从短参考语音在文本到语音(TTS)与声音转换(VC)中生成,带来隐私风险。本研究聚焦于说话人编码器条件化的YourTTS设定,而非宣称对所有零样本TTS/VC系统具有通用防御。研究人员将Nesterov迭代快速梯度符号法(NI
语音深度伪造(deepfake)可从短参考语音在文本到语音(TTS)与声音转换(VC)中生成,带来隐私风险。本研究聚焦于说话人编码器条件化的YourTTS设定,而非宣称对所有零样本TTS/VC系统具有通用防御。研究人员将Nesterov迭代快速梯度符号法(NI-FGSM)适配至短时傅里叶变换(STFT)域的对抗参考扰动,并在白盒设定下针对YourTTS说话人编码器优化扰动。该方法在L∞预算下采用归一化累积梯度的前瞻动量(look-ahead momentum)。为将客观感知质量代理与攻击强度解耦,研究人员引入双对齐评估协议,匹配信噪比(SNR)或基于负余弦相似度的嵌入分离分数(cosD)。研究人员通过参考级说话人嵌入位移、外部自动说话人验证(ASV)以及端到端YourTTS生成语音评估扰动。在LibriSpeech test-clean上,NI-FGSM在匹配SNR时比I-FGSM产生更大嵌入位移,在匹配cosD时获得更高SNR,表明更优的参考级质量–破坏权衡。端到端YourTTS评估进一步显示,对抗保护参考适度降低合成语音中目标说话人相似度,相较干净参考合成提高等错误率(EER)并降低目标接受率。动量敏感性研究确定μ≈0.6附近的中等设置为鲁棒默认。总体而言,所提STFT域实例化与评估协议为研究YourTTS风格零样本语音生成中的对抗参考扰动提供了可复现的、面向说话人编码器的基线。
研究背景方面,文本到语音(TTS)与声音转换(VC)的滥用引发隐私与安全风险,YourTTS等零样本多说话人模型仅凭数秒参考音频即可克隆说话人风格,而训练与推理均依赖预训练说话人编码器提取身份表征,该编码器成为身份保持的关键接口,也自然成为对抗扰动的作用点。标准迭代基线I-FGSM仅用当前梯度而无动量,在合成场景下易导致梯度振荡、更新不稳定及收敛陷入局部,限制可靠对抗样本形成与特征空间探索。图像域中NI-FGSM借助Nesterov加速动量提升迁移性与稳定性,但在YourTTS零样本TTS流水线的参考语音扰动中尚未被系统检验。为此,研究人员将NI-FGSM实例化至STFT域,以YourTTS说话人编码器为白盒优化目标,探究小幅扰动能否改变参考说话人表征并削弱生成语音与目标说话人相似度。论文发表于《Digital Signal Processing》。
关键技术方法上,研究人员采用LibriSpeech test-clean作为语音样本队列;将现有NI-FGSM更新规则迁移至STFT域,对参考语音幅度谱施加L∞预算下的前瞻动量迭代扰动,每步构造look-ahead点并计算归一化累积梯度后做投影截断;优化目标为YourTTS说话人编码器输出的说话人嵌入,损失取与目标嵌入的负余弦相似度方向;为公平比较,提出双对齐评估协议,在等SNR或等cosD条件下配对比较NI-FGSM与I-FGSM,并辅以外部ASV系统与端到端YourTTS合成验证,动量μ作灵敏度扫描。
研究结果部分,引言指出公开分享语音被用作合成参考的威胁场景,明确本文范围限于YourTTS式说话人编码器条件化设定。背景小节梳理YourTTS基于VITS与HiFi-GAN、靠说话人一致性损失(SCL)绑定预训练说话人编码器(如H/ASP on VoxCeleb2)的机制,并界定方法边界——不直接外推至声学提示、神经codec令牌或语义令牌类系统。基线I-FGSM小节给出单步与多步公式,指出其无动量导致振荡。NI-FGSM适配小节描述为已有更新规则的STFT域重写:x?t+1=Clipε{x?t+α·sign(?x?tL(f(x?t),ytrue))} 的动量变体,其中累积梯度gt+1=μ·gt+?x?L(E(x?),E(xclean)),x?=x+μ·gt/‖gt‖后经L∞截断,ε固定。实验方法小节涵盖双对齐配对设计、参考级嵌入位移(embedding displacement)、cosD、SNR、外部ASV-EER及YourTTS端到端相似度(target accept rate)。双对齐结果显示,在LibriSpeech test-clean上NI-FGSM于等SNR时嵌入位移大于I-FGSM,于等cosD时SNR高于I-FGSM,证明更优的质量–破坏权衡。动量敏感性小节扫描μ∈{0,0.3,0.6,0.9},确认μ≈0.6为稳定工作点。参考级ASV-EER评估表明受扰参考使外部ASV对原说话人拒绝率上升。端到端YourTTS生成评估显示,用对抗保护参考合成的语音相较干净参考合成,目标说话人余弦相似度下降、EER上升、目标接受率降低,证实参考级扰动可传递至合成语音。
讨论与结论翻译部分,研究人员指出该方法边界清晰:仅面向显式说话人编码器的YourTTS式系统,不声称覆盖所有零样本TTS/VC;STFT域扰动在白盒下提供可复现基线,双对齐协议解耦SNR与cosD使比较公平;μ≈0.6为鲁棒默认;参考级嵌入破坏可沿YourTTS生成链传播至听感相似度退化。未来需考察黑盒迁移、针对波形域或codec提示系统的适配,以及感知质量与防御强度的更细粒度权衡。
重要意义在于,论文为语音隐私防护提供了一条不以修改生成模型权重为前提、仅扰动对外发布参考语音的轻量路径,并给出首个面向YourTTS说话人编码器的STFT域NI-FGSM基线及配套双对齐评测,便于后续研究在受控设定下复现与扩展。