《Journal of Memory and Language》:Manipulating language models’ training data to study syntactic constraint learning: The case of English passivization
编辑推荐:
本研究针对语言学习者如何掌握语法规则中的例外(如英语动词被动化限制)这一经典难题,以英语被动化为例,通过操控神经语言模型(如GPT-2)的训练数据,探究“间接证据”的来源。研究证实模型判断与人类高度相似(r=0.9),并通过控制实验,首次为频率(固化效应)和语义(受影响性)在动词被动性判断中的独立因果作用提供了实证支持,为利用可控输入研究语言习得机制提供了方法论范例。
你是否思考过,当我们觉得“会议持续了一个小时”(The meeting lasted one hour)这句话听起来很自然,而“一个小时被会议持续了”(One hour was lasted by the meeting)这句话听起来却十分别扭时,背后的原因是什么?在语言学中,这是一个关于“例外”的经典难题。像被动化这样的语法规则看似能广泛应用,但总有一些动词会“拒绝”遵守,比如动词“last”(持续)。更令人困惑的是,人类语言学习者似乎并不需要听到每个动词的“错误”用法(如was lasted by)来学习其不成立,他们能从大量看似不直接相关的语言输入中,推断出这些例外。这个问题被称为“贝克尔悖论”(Baker's Paradox):学习者如何区分“因不符合语法而从未出现”的形式与“纯因偶然未出现”的形式?
为了解决这个语言习得机制的核心问题,纽约大学的研究者Cara Su-Yi Leong和Tal Linzen在《Journal of Memory and Language》上发表了一项创新性研究。他们没有局限于观察人类学习者的行为,而是将神经网络语言模型(NNLM)作为一种计算理论模型,通过对其“学习经历”(即训练数据)进行精准的手术刀式操控,来探究“固化假说”(entrenchment hypothesis)和“受影响性假说”(affectedness hypothesis)这两种主流理论,究竟为学习者提供了何种“间接证据”。
研究者首先进行了一项人类可接受性判断实验(实验1A),系统地收集了英语母语者对28个动词(包括18个文献记载的“不可被动化”动词和10个对照组动词)在主动句和被动句中的可接受度评分。结果证实,说话者的判断是渐进的,有些动词(如last)被动化程度极低,有些(如defenestrate)则较高,且即使在语义相近的动词类别内部也存在差异。随后,他们训练了一个基于Transformer架构的神经网络语言模型(GPT-2架构),使其接触与人类青少年时期相当的约1亿词次的语料。通过“定向句法评估”(targeted syntactic evaluation)方法,他们惊奇地发现,模型对动词被动性的判断梯度与人类参与者高度相似(r=0.9),且显著优于仅基于词频的三元语法模型。这表明,模型能够从其接触的语料中有效提取出关于动词被动性例外的证据。
为了探究模型究竟利用了语料中的哪些信息,研究团队设计了一系列巧妙的“反事实”训练实验。在实验2A中,他们测试“固化假说”,该假说认为动词在主动语态中出现频率远高于被动语态会“固化”其不可被动化的属性。研究者选取了原本被动性高的动词(如carry),并修改其训练语料,通过删除其大部分被动句实例,人为地将该动词的“主动/被动频率比”(A/P ratio)提升到与典型不可被动化动词(如last)相似的水平。结果发现,模型对该动词被动句的接受度显著下降,支持了频率是一个因果性因素。
在实验2B中,他们检验“受影响性假说”,该假说认为动词能否被动化取决于其动作的“客体”(theme)是否受到动作的影响而发生状态、位置或存在性的改变。例如,last不可被动化是因为“一小时”并未因“会议持续”而受影响。研究者在语料中将不可被动化动词(如resemble)的典型论元(客体),系统地替换为高受影响性动词(如hit)的典型论元,从而人为地增加了该动词在语料中与“受影响”论元共现的比例。结果发现,模型对该动词被动句的接受度有所提高,这为语义的受影响性提供了因果性证据。
最后,在实验3中,研究者引入一个全新的虚构动词,并控制其出现频率和语义语境,进一步测试频率和受影响性是否存在交互作用。结果表明,这两者各自独立地贡献于动词的被动性判断,并未发现显著的交互效应。然而,研究也发现,这两个因素单独或共同作用,都无法完全解释模型所学习到的全部被动性差异,暗示输入数据中还存在其他信息来源。
主要技术方法:本研究综合运用了计算建模、心理语言学和语料库语言学方法。关键技术包括:1) 训练基于Transformer架构的自回归神经网络语言模型(GPT-2 small),并对其进行“定向句法评估”以获取梯度化的句法可接受性分数;2) 对大规模文本语料库(OpenWebText子集,约1亿词)进行依赖句法分析,以精确统计动词在主动和被动结构中的出现频率;3) 设计并实施在线的、受试者间平衡的人类可接受性判断实验,收集梯度评分数据;4) 对模型训练数据进行有目的、受控的干预操作,包括删除特定结构实例、替换论元等,以创建“反事实”训练语料,从而建立输入特征与学习结果之间的因果关系。
研究结果:
- •
实验1A:英语说话者认为某些动词比其他动词更难被动化:人类判断验证了动词被动化的例外现象是渐进和梯度化的,而非绝对二分。同一语义类别的不同动词也显示出不同的被动性程度,表明学习可能是动词特异性的或对精细语义差异敏感。
- •
实验1B:比较语言模型和人类判断:在人类可接受性实验材料上,神经网络语言模型的判断与人类判断高度相关(r=0.9)。该模型在广泛的句法评测基准(BLiMP)上也表现出色,证明其掌握了包括被动化限制在内的多种语法约束。相比之下,仅基于词频的三元模型与人类判断的相关性较低。
- •
实验2A:测试固化假说:当模型在A/P比值被人为提高(即被动实例减少)的语料上训练后,原本可被动化的目标动词的被动句可接受度显著降低。这表明,动词在主动和被动结构中出现的相对频率是其被动性判断的一个因果性信息来源。
- •
实验2B:测试受影响性假说:当模型在语料中接触到更多“受影响”论元与目标动词共现时,原本不可被动化动词的被动句可接受度有所提高。这表明,动词的语义(具体而言是其客体论元的受影响性)是学习者推断其被动性的另一个独立的因果性线索。
- •
实验3:频率和语义的交互作用:通过引入并操控一个虚构动词,研究发现频率(A/P比值)和语义(受影响性语境比例)对被动性判断有独立的、附加的贡献,但没有发现显著的交互作用。同时,这两个因素无法完全解释模型学到的所有变异,提示存在其他未探明的信息来源。
结论与讨论:
本研究的核心结论是,神经网络语言模型能够从与人类学习者接触量级相当的语言输入中,习得对英语动词被动化例外渐进、梯度化的判断模式,且其判断与人类高度相似。更重要的是,通过操控模型的训练数据,研究者为语言习得领域的两个经典假说——“固化假说”和“受影响性假说”——提供了关键的因果性证据。研究表明,语言学习者(在此由模型模拟)并非依赖单一信息来源,而是同时利用动词的分布频率信息(即在主动和被动语境中的出现不对称性)和其语义属性(即动作客体是否受影响)来推断其句法行为。这两种证据来源各自独立地作用于学习过程。
这项研究的意义深远。在理论上,它强有力地证明了,像Transformer这样的现代神经网络,即使在不经过明确语法标注、仅通过预测下一个词进行训练的情况下,也能够利用“间接证据”来学习复杂的、存在例外的句法约束。这为将此类模型作为探究人类语言习得机制的计算理论工具提供了有力支持。在方法论上,本研究开创性地展示了如何通过系统性、控制性地干预“学习者”(即模型)的输入数据,来分离和验证不同学习假设的因果效应。这种方法克服了传统人类发展研究中只能进行观察的局限性,为未来在句法、语义乃至语用等各个层面的语言习得研究提供了一个强大且可控的新范式。最后,研究也指出,频率和语义未能完全解释模型习得的所有知识,这为进一步探索其他可能的证据来源(如动词的论元结构、与特定构式的关联等)留下了空间,并鼓励未来研究采用更贴近儿童实际语言环境的语料进行建模。