《Knowledge-Based Systems》:NIDW: A post-hoc cascade multi-channel text watermarking framework with Newton interpolation
编辑推荐:
•提出了一种事后级联文本水印框架。•牛顿插值实现了局部坐标同步。•双通道架构提高了文本受损情况下的鲁棒性。•该方法明确区分了同义词替换和释义改写。•大量实验证明该方法在多种攻击下均具有鲁棒性。引言以 GPT-4 [1] 和 Llama-2 [2] 等范式性模型为代表的大语言模
- •
提出了一种事后级联文本水印框架。
- •
牛顿插值实现了局部坐标同步。
- •
双通道架构提高了文本受损情况下的鲁棒性。
- •
该方法明确区分了同义词替换和释义改写。
- •
大量实验证明该方法在多种攻击下均具有鲁棒性。
引言
以 GPT-4 [1] 和 Llama-2 [2] 等范式性模型为代表的大语言模型(LLMs)的空前普及,已超越了单纯的实用性,从根本上模糊了机器生成内容与人类自然认知之间的认识论边界。这些模型在从富含细节的创意写作到复杂的可执行代码生成等各类任务中均展现出卓越的能力。然而,它们的无处不在也给数字信息生态系统投下了明显的阴影。我们正目睹一场严重的信任危机,其特点表现为三重危机:学术不端行为的泛滥、幻觉的无缝传播,以及围绕版权侵权和知识产权日益扩大的法律困境 [3]。因此,可靠地区分真实的人类表达与机器生成内容的能力,已从技术小众领域演变为当前数字时代的关键挑战。
为解决这一危机,研究社区大致分为两种方法论范式,其中事后检测作为第一道防线。从概念上讲,这些被动技术充当"统计侦查工具",在不访问模型专有"黑箱"的情况下,审查生成文本在困惑度、熵或突发性方面的细微异常 [4]。尽管这些法证启发式方法在理论上十分优雅,但在实际场景中越来越证明无效。随着生成技术的进步,人类文本与机器文本之间的统计差异日益缩小,使得这些检测器容易产生较高的误报率。此外,面对分布外数据时它们表现出明显的脆弱性,即使面对简单的递归释义也往往会崩溃 [5]。因此,在生成时通过改变令牌分布来实现的统计水印,难以同时保持鲁棒性和文本流畅性,因为强制选择不自然的令牌变得越来越容易被察觉。这促使人们转向确定性的、事后嵌入策略,其检测依赖于精确的物理痕迹而非统计差异。
针对被动检测的不足,主动文本水印作为一种积极的替代方案应运而生。该范式通常通过在解码阶段微调大语言模型的采样分布,将隐藏的、可验证的信号直接嵌入到生成的文本中。Kirchenbauer 等人 [6] 的开创性工作引入了逻辑严谨的"红绿"列表策略,该策略偏倚词汇选择以统计上促进"绿色"令牌的生成。继这一突破之后,大量衍生方案被提出,从零宽字符(ZWC)嵌入到基于词汇替换的方法不等,试图在水印鲁棒性、不可感知性和文本连贯性之间找到脆弱的平衡 [7], [8]。
尽管取得了有意义的进展,当前最先进的水印技术仍受制于鲁棒性与不可感知性之间的"零和"困境——零宽字符(ZWC)方案在不可感知性方面表现优异,但在格式规范化攻击面前不堪一击,而词汇替换方法虽然增强了鲁棒性,却牺牲了文本连贯性。最近的对抗研究表明,标准水印信号是脆弱的;它们很容易被重译、同义词替换、复制粘贴攻击,甚至格式规范化和打印扫描操作所抹除,这些操作会破坏当前算法所依赖的刚性 n-gram 模式 [9], [10]。此外,先前的评估往往将浅层的同义词替换与结构性释义混为一谈,导致语义鲁棒性的声称被夸大。在低熵语境下强迫模型选择特定令牌,不可避免地会降低生成文本的连贯性和流畅性,导致在学术写作和创意内容生成等场景下游效用明显下降 [11]。
为应对这些固有局限,我们提出了 NIDW,一个严格的事后级联多通道文本水印框架,专为鲁棒的内容溯源而设计。我们的方法不同于刚性的词汇划分,而是利用一种上下文无关的表面层多通道策略。我们明确将 NIDW 定位为模型无关的后处理管线:尽管其主要动机是对机器生成文本的溯源分析,但其算法行为独立于模型内部机制,无论输入文本的来源生成器如何,都以统一的方式处理可观测的输入文本。通过放弃单一通道不可破坏的假设,NIDW 引入了级联架构:一个不可见的核心通道在纯净环境下处理大容量数据,而互补的基于锚点的冗余和可见标记恢复信号则在核心通道重建变得不可靠时提供二次恢复。我们的主要贡献总结如下:
- •
诚实的漏洞分类:我们系统地解耦了同义词替换和完整释义,证明现实的 LLM 释义会破坏纯核心通道,从而证实了我们多通道方案的必要性(详见第4.3节消融研究:设计参数优化和第4.5节与最先进方法的对比)。
- •
级联多通道机制:我们提出了一种事后嵌入框架,将水印容量与鲁棒性解耦。该框架使用基于零宽字符的不可见核心通道实现高容量隐蔽传输,并辅以依赖稳定的语义锚点冗余和级联启用配置中可选的可见标记恢复信号。当核心置信度不足时,确定性的核心到可见路由规则提供二次恢复(详见第3.1、3.4和3.6节)。
- •
局部牛顿重同步:我们引入了一种数学重建机制,利用基于依赖稳定语义锚点的牛顿插值。我们实证表明锚点相对位置表现出高度的局部平滑性(),支持在结构扰动下的坐标重同步(详见第3.4.2节)。
章节摘要
生成式大语言模型与滥用风险
基于 Transformer 模型的规模化发展赋予了大语言模型涌现能力 [12]。虽然有益,但高质量文本生成的民主化促进了抄袭和假新闻的批量生产。早期缓解此问题的尝试依赖于人工评估或简单分类器,但这些方法难以扩展。因此需要自动化的溯源技术,其中水印被认为在非合作场景下最有前景的解决方案 [13]。
方法
在本节中,我们提出了一种鲁棒的多通道水印框架,旨在增强文本传输中的容量和韧性。我们的方法整合了信息论直觉、结构化框架构建、误差分散机制和数学重建,详细阐述如下(见图1)。
实验评估
在本节中,我们基于来自不同领域和语言模型的真实样本,对我们的框架进行了全面的实验评估。我们的评估系统地考察了文本质量保持、级联冗余保护、文本长度效应和模型无关的泛化能力。
核心发现解读:应对过度声称问题
本研究探讨了事后黑盒文本水印方法在现实内容转换场景下是否能保持鲁棒性。先前的工作通常报告在简化的扰动设置下具有良好表现,这可能无法完全反映现实世界中的对抗性改写行为。我们基于真实 API 的评估为此问题提供了更全面 perspectives。
一个关键观察是同义词替换与完整释义本质上截然不同。在
结论与未来研究
本文提出了 NIDW,一个严格的事后级联多通道文本水印框架,旨在应对现实文本转换场景下的鲁棒内容溯源。我们的语料库规模基准包含 59,033 个样本,而基于真实 OpenAI 和 DeepL API 的实验则在控制子集上进行。综合来看,这些评估超越了理想化假设,刻画了水印可恢复性的经验操作边界。
我们的结果表明,虽然纯
作者贡献声明
李明杰:撰写–审阅与编辑、撰写–初稿、监督、方法学、调查、形式化分析、数据整理。张永刚:撰写–初稿、软件、资源、项目管理、方法学、调查、概念化。李军:撰写–审阅与编辑、监督、软件、概念化。刘吉照:撰写–审阅与编辑、撰写–初稿、监督。李润川:撰写–审阅与编辑、可视化、监督,
利益冲突声明
作者声明不存在任何可能影响本文所报告工作的已知竞争性经济利益或个人关系。
致谢
我们感谢匿名审稿人提出的富有洞察力的意见和具有建设性的反馈,这些意见极大地改进了本工作。我们感谢开源社区提供的 PyTorch、spaCy 和 Hugging Face Transformers 库。本研究未获得公共、商业或非营利部门资助机构的任何专项资助。
李明杰 | 张永刚 | 李军 | 刘吉照 | 李润川 | 张淑琴