《Knowledge-Based Systems》:DualSelect: Active learning by structural pseudo-label instability under complementary support perturbations
编辑推荐:
摘要在伪标签驱动的主动学习中,不确定性将两种情况混为一谈:一种是模型仅仅犹豫不决的样本,另一种是伪标签对周围未标记结构敏感的样本。我们将后者形式化为结构伪标签不稳定性(SPI):在伪标签池中互补的集群平衡两半上训练的模型之间的Jensen–Shannon分歧度。Query-b
摘要
在伪标签驱动的主动学习中,不确定性将两种情况混为一谈:一种是模型仅仅犹豫不决的样本,另一种是伪标签对周围未标记结构敏感的样本。我们将后者形式化为结构伪标签不稳定性(SPI):在伪标签池中互补的集群平衡两半上训练的模型之间的Jensen–Shannon分歧度。Query-by-Committee在固定数据下改变假设;DualSelect固定学习器并扰动局部支撑,无需独立的特征视图。SPI具有选择性而非普遍性:其平均消融效应较小,增益集中在残余类别模糊之下。因此,DualSelect通过固定函数形式的条件化权重、表示感知门控和候选多样化,将SPI与不确定性和几何结合。消融实验将性能归因于这种协调而非仅SPI本身:在所有数据集族上去除门控会使学习曲线下面积降低2.0–2.7个百分点。在四个场景中比较了14个竞争方法:合成数据、两个查询粒度下的11个UCI数据集、潜在图像表示,以及合成实验中的第二个骨干网络。其主张是鲁棒性,而非全面主导。在表格基准上,DualSelect落后于最佳均值0.09和0.07个百分点,但在数据集—预算单元上获胜的数量超过任何竞争者,且未被任何方法显著超越。在潜在基准上,它显著领先于所有14个竞争方法。在四个场景中,它拥有最低的均值和最差场景的经验遗憾(0.74和2.08个百分点),是唯一在每个场景中都位列前三名的方法。
引言
在标签需要专业知识、时间或昂贵测量的领域中,监督学习仍然受限于标注。主动学习(AL)通过选择下一个要标注的未标记实例来解决这一限制。然而,不同的采集信号解决不同的问题。不确定性采样集中在当前的决策边界上。多样性和覆盖策略将查询分布在表示空间中。BADGE、DBAL和SCAL等混合方法结合了这两种原则。然而,这些信号都没有明确询问临时标签是否被周围未标记结构稳定地支持。
当伪标签被用来利用未标记池时,这种区分很重要。一个点可能是不确定的,而其临时类别在局部支撑的小幅变化下仍然稳定;相反,一个中等置信度的伪标签可能因为少数邻近的伪标签样本被替换而崩溃。从采集角度来看,这两种情况是不同的。第一种是普通模型的不确定。第二种揭示了当前标签分配取决于观察到的局部伪标签结构的哪一部分,因此该区域尚未在结构上得到解决。
我们称这一特性为结构伪标签不稳定性(SPI)。DualSelect通过扰动数据支撑而非学习器来测量SPI。伪标签池按集群被分为两个互补的一半。在生成的支撑上训练两个分类器,它们的预测分歧度衡量每个伪标签的敏感性。这种构建与Query-by-Committee(QBC)不同,后者固定训练数据并改变模型假设。它也不同于协同训练,后者需要独立的特征视图。这一区别在附录A.1中进行了正式阐述。
SPI仅当伪标签结构有意义时才有用。消融实验证实了这一资格条件很重要。在所有测试上下文中,将SPI添加到预测不确定性中,平均使学习曲线下面积变化不到十分之一个百分点。其好处集中在残余类别模糊持续存在的地方。这一结果具有架构后果:一个场景选择性的信号需要一个机制来确定何时可以信任它。因此,DualSelect将一次采集轮次分为三个决策。首先,一个条件门控确定在当前阶段是否应该信任结构评分。其次,当激活时,通过数据条件化的权重计划将SPI与预测不确定性和到标记集的距离结合。第三,在查询批次之前,对得分最高的候选者进行多样化。因此,决策—评分—选择分解不仅仅是三种启发式方法的加权和。它控制何时使用结构信息以及如何使用它产生非冗余批次。
相应的,经验目标比声称的普遍优越性更窄。我们问结构不稳定性是否添加有用信息,在哪些场景中它这样做,以及当分类器、查询粒度、表示和问题难度改变时,由此产生的方法是否仍然具有竞争力。答案分别是条件性地、在残余模糊下、以及是的;我们在开头就指出答案不利的两个地方,因为它们塑造了贡献而不是限定它。SPI不是一个均匀的加性项,且DualSelect在全局表格基准上未获得最高均值。然而,它仍然属于统计上无法区分的领先组,在两个查询粒度下均排在三种领先策略之列,并且与各自的最高均值保持在0.09和0.07个百分点之内。在我们测试的每个场景中存活的都是鲁棒性,而不是主导性。主要贡献包括:
- •
一个结构采集准则。我们将SPI形式化为伪标签对其伪标记邻域受控扰动的敏感性,并通过在互补支撑子集上训练的模型之间的Jensen–Shannon分歧度来估计它。
- •
一个条件采集架构。预测不确定性、SPI和几何锚定通过数据依赖权重和表示感知门控进行协调,然后进行候选多样化以进行批次选择。
- •
一个广泛的、场景感知的评估。一个由十五种采集策略组成的专家组,即DualSelect和14个竞争者,在合成、表格和潜在基准上进行了评估,并附加了分类器和批量大小的重复实验。分析强调配对遗憾、统计检验和失败场景,而不仅仅是平均准确率。
- •
一个限定声明的机制性消融实验。消融实验将评分组件与控制层分开,并在两个方向上报告。它表明几何是最稳定的单个补充,SPI是场景选择性的而非普遍有益的,且最大的测量效应属于控制层:移除条件门控的代价超过任一信号的贡献。因此,我们将贡献定位在三个信号的条件协调上,并将SPI呈现为这种协调旨在利用的概念性准则。
本文其余部分组织如下。第2节将SPI定位在不确定性、多样性、分歧和伪标签的语境中。第3节介绍了DualSelect。第4节报告了实验和消融实验,随后是讨论。技术推导、完整协议细节和扩展结果在附录中提供。
章节摘录
不确定性、覆盖和混合批次选择
该领域的综述由Settles [1]给出,深度设置下的综述由Li等人 [7]给出。经典主动学习通过当前的预测模型对每个未标记样本进行评分。最小置信度、间隔采样和熵是标准的不确定性准则 [1],其比较行为本身已被系统研究过 [8]。它们在有意义决策边界附近有效,但由于许多高不确定性点占据同一区域,可能会产生冗余批次。面向覆盖的
核心概念:结构伪标签不稳定性。
在伪标签驱动的主动学习中,伪标签由一个在小型标记集上训练的基础分类器产生。其误差并非均匀产生:它们集中在不断演变的决策边界附近、稀疏的过渡区,以及局部支撑薄弱的地方。这些错误的伪标签不仅仅是不确定的:它们是结构上不稳定的,意味着如果点的局部伪标记邻域不同,它们就会改变。一个可靠的采集机制应该
实验协议
评估围绕三个为互补目的选择的数据族组织:受控的合成问题暴露维度和类别重叠;11个UCI数据集 [31]测试异质表格结构;以及从预训练ResNet-18 [32]获得的图像衍生潜在表示,在不同维度的学习空间中测试该方法。比较中的所有策略共享相同的数据划分、初始标记集和任务分类器。初始标记种子包含
结论
DualSelect引入了结构伪标签不稳定性作为采集信号:当一个样本的临时标签在局部伪标记支撑的受控扰动下发生变化时,它就是信息性的。互补的集群平衡划分通过预测分歧度使这种敏感性可测量,由此产生的SPI信号在查询多样化批次之前与预测不确定性和几何锚定进行协调。
实验支持了一个有条件的
CRediT作者贡献声明
Frédéric Ros:撰写—原始草稿、软件、方法论、形式分析、概念化。 Rabia Riad:撰写—审阅与编辑、可视化、软件、方法论、调查。 Adel Hafiane:撰写—审阅与编辑、验证、方法论、调查。 Erwan Bertrand-Bonvillain:撰写—审阅与编辑、软件、方法论。 Yassine Nasser:撰写—审阅与编辑、验证、方法论。
利益冲突声明
作者声明不存在可能影响本文报告工作的已知竞争性财务利益或个人关系。
Frédéric Ros|Rabia Riad|Adel Hafiane|Erwan Bertrand-Bonvillain|Yassine Nasser