多子空间元学习
《Artificial Intelligence》:Multi-Subspace Meta-Learning
【字体:
大
中
小
】
时间:2026年09月26日
来源:Artificial Intelligence 4.7
编辑推荐:
摘要
元学习通过从历史任务中提取元知识来促进新任务的学习,已在各种应用中取得了巨大成功。MAML等代表性元学习算法假设任务之间具有相似性,并提出为所有任务学习一个全局共享的元初始化。然而,真实世界环境通常十分复杂,导致任务模型参数呈现多样化特征,单一的元初始化不足以捕捉所有
摘要
元学习通过从历史任务中提取元知识来促进新任务的学习,已在各种应用中取得了巨大成功。MAML等代表性元学习算法假设任务之间具有相似性,并提出为所有任务学习一个全局共享的元初始化。然而,真实世界环境通常十分复杂,导致任务模型参数呈现多样化特征,单一的元初始化不足以捕捉所有元知识。为应对这一挑战,本文提出多子空间元学习方法。任务模型参数被结构化为多个子空间,每个子空间代表一种类型的元知识。我们提出两种新颖算法——MUSML和PE-MUSML——用于学习元参数(即子空间基),并从理论上建立了所学子空间的泛化界。在回归和分类基准数据集上的大量实验验证了子空间元学习的有效性。
引言
元学习[1]、[2]、[3]、[4]从以往任务中提取可迁移的元知识,以实现对新任务的快速适应,并在少样本学习[5]、[6]、[7]、[8]、神经架构搜索[9]、超参数优化[10]、[11]、强化学习[12]以及自然语言处理[13]等领域推动了显著进展。在各种元学习范式当中,基于优化的方法最为通用,也是本工作的研究重点。MAML[14]及其变体[15]、[16]、[17]等代表性算法学习一个全局共享的元初始化,所有任务从中出发,通过对少量训练数据进行若干次梯度更新即可获得任务专属模型。
然而,这些方法隐含地假设所有任务模型都位于参数空间中某个公共初始化的邻近区域,使得少量梯度更新即可完成任务适配。由于每个任务仅在小规模训练集上执行少数几轮梯度步骤,适配后的模型必然停留在共享初始化的一个狭窄邻域内,这隐式地假设了所有任务的最优点都落在同一个邻域中。在任务结构差异较大的异质环境中,这一假设不再成立:各任务专属最优解在参数空间中形成彼此分离的多峰分布,没有任何一个点能够同时靠近所有最优点。最小化平均适配后损失只是将初始化置于一个折中位置,该位置仍与许多任务的最优点相距甚远,因此少数适配步骤无法覆盖剩余距离,相应任务模型将出现欠拟合。这一差距也无法通过更激进的适配来弥合,因为增加内循环步数或采用更大的步长虽然能扩大可达区域,但会以显著损害泛化能力为代价,而少样本训练集规模太小,不足以可靠支撑如此长程的适配过程。因此,单一全局初始化不足以表示此类任务所需的多样化元知识,且这种不足具有结构性:其根源在于将所有可迁移的元知识压缩到一个点之中。
为克服这一局限,已有结构化元学习方法通过将有元知识组织为多个组成部分来捕捉更丰富的任务关系[7]、[18]、[19]、[20]、[21]、[22]、[23]、[24]。例如,[18]提出层级化模型混合,为每个任务从多个候选初始化中选取一个。TSA-MAML[22]对MAML得到的任务专属参数进行聚类,并使用聚类中心作为分组专属初始化。
另一种做法是将任务参数结构化为一个子空间。相比于一组更大的离散初始化集合,子空间才是这里应当学习的自然对象,原因具有几何性质。在一系列相关任务的族中,各任务的最优点通常并不完全相同,而是沿少数方向平滑变化,因而它们占据的是一个低维区域,而非收敛于单一点[25]、[26]、[27]、[28]。点式表示——无论是共享初始化还是聚类中心——只能位于该区域的中心,因此对于最优点偏离该中心的任务,适配距离将很大;若用多个点来复现整个区域,则需要大量中心点,且仍然无法捕捉区域的连续变化。相比之下,子空间仅用少量参数即可表示整个区域,因为任何最优点落在子空间附近的任务都可以通过在子空间内部适配来达成,无论该最优点沿所跨方向上的何处。
近期工作[23]、[24]在线性回归设定下研究了这一思路,其中假设任务参数服从一个可共享的低秩子空间,并可通过样本协方差矩阵的列空间利用基于矩的估计器加以识别。然而,将此类公式推广到非线性模型(如深度神经网络)颇具挑战。在这些情形下,内在参数流形不再能被单一线性子空间良好逼近,而是通常需要多个子空间才能捕捉不同类型的元知识,例如不同的任务子空间以及领域特定结构。
为达成该目标,本文提出多子空间元学习(MUSML),一个学习多个子空间以构建任务专属模型的通用框架,其中每个子空间对应一种类型的元知识。对于每个任务,基学习器从每个子空间构造任务专属模型,而元学习器通过最小化跨任务的加权验证损失来联合更新子空间基。为进一步提升效率,我们引入参数高效版MUSML(PE-MUSML),将每个子空间重新表述为共享元模型与两个低秩分解矩阵之积的组合。由于秩通常较小,分解矩阵带来的额外参数远少于模型参数。此外,PE-MUSML通过避免二阶导数计算提升了MUSML的计算效率。我们的主要贡献总结如下:
(i) 多子空间表述:我们提出MUSML与PE-MUSML两种模型无关算法,用于学习多个元子空间,适用于线性与非线性网络。
(ii) 参数与计算高效性:PE-MUSML在与MUSML相当甚至更优的泛化表现下,参数显著更轻、训练更快。
(iii) 理论保证:我们为所学子空间提供了泛化界,并证明PE-MUSML享有比MUSML更紧的界。
(iv) 全面评估:在合成与真实世界基准上的大量实验验证了所提方法相对于现有元学习算法的优势。
与会议版本的差异
本工作的初步版本已发表在ICML会议论文[29]中。我们做出以下重要扩展:
(i) 算法创新。会议版本学习多个子空间基,其元参数规模为K·m·d_i·d_o,其中K为子空间数量,m为子空间维度,d_i与d_o分别为每层的输入与输出维度。本工作引入新算法参数高效版MUSML(PE-MUSML),基于共享元模型与两个轻量级投影矩阵的低秩分解重新表述每个子空间。这一表述将元参数数量大幅降至K·m·(d_i+d_o),对现代深度网络可实现数个数量级的减少。除参数效率之外,PE-MUSML在元梯度计算中避免了昂贵的二阶微分,在保持或提升性能的同时实现超过3倍的元训练加速。这些改进使得所提框架可扩展至视觉Transformer与卷积骨干等大型神经网络,而这些网络超出了会议版本原始算法的计算能力范围。
(ii) 增强的理论分析。会议版本在简化假设下为MUSML提供了泛化界。本工作提出新的理论框架,严格分析MUSML与PE-MUSML的泛化性质。我们推导出更尖锐的超额风险界,该界显式依赖于子空间秩、子空间数量以及元任务的样本复杂度。分析进一步表明PE-MUSML中的低秩分解所得到的界严格紧于MUSML,从而为其经验性能的改善提供了理论依据。
(iii) 全面的实验验证。我们进行了大幅扩展的实验研究,涵盖会议版本未包含的新数据集与架构。具体而言,我们在精心整理的新基准Meta-Dataset-FUF上评估MUSML与PE-MUSML,该基准整合了多样化的少样本分类领域;同时在ViT-Tiny等现代网络架构上进行测试。这些广泛结果展示了PE-MUSML在大规模与异质任务下的稳健性、泛化能力与实用效率。
表1总结了全文使用的主要符号。
小节摘要
元学习
元学习算法大致可分为三类范式:(i) 基于度量的方法[30]、[31]、[32]、[33];(ii) 基于记忆的方法[34]、[35];(iii) 基于优化的方法,这是本文的关注重点。MAML[14]及其变体(如REPTILE[36]、ANIL[37]、Proto-MAML[38]、BMG[39])等代表性基于优化的元学习算法旨在学习一个共享元初始化,作为……
问题表述
我们考虑学习任务的分布p(τ),其中每个任务τ~p(τ)对应于输入-输出对(x, y)上的一个独立数据分布。对大多数实际应用场景,真实的任务专属分布并不可直接观测。相反,可以获取一组样本,构成训练集D_tr^τ={(x_i, y_i)}_{i=1}^{N_tr}与验证集D_vl^τ,二者均从潜在分布中独立同分布抽取,用于学习任务专属模型。设f(·; w)表示一个参数化……
来自线性回归任务的启发
为阐释基于子空间元学习的核心思想,我们首先考虑一族线性回归任务。该设定提供了对潜在任务子空间的闭式刻画,便于为后文介绍的非线性一般形式建立几何直觉。
考虑任务τ,其中输入-输出对(x, y)服从线性模型y = x^? w_τ★ + ξ,其中x~N(0, I)为标准高斯输入,w_τ★为任务τ的真实参数向量,ξ~N……
多子空间元学习
第4节的分析表明,在线性回归中,可通过谱方法从二阶矩统计量恢复任务子空间。然而,该基于矩的方法严重依赖两个对深度神经网络而言不再成立的假设:(i) 输入-输出映射的线性性,这可给出跨任务协方差的闭式表达;以及(ii) 单子空间假设,即一次谱分解已足够。在实践中,……
实验
本节在合成与真实世界数据集上评估所提出的MUSML与PE-MUSML算法。
结论
本文针对复杂异质环境中的元学习挑战展开研究。我们提出多子空间元学习(MUSML),一种将任务专属参数建模为子空间混合的框架,其中每个子空间捕捉一种独立的元知识。在此基础上,我们提出两种新颖算法——MUSML及其参数高效变体PE-MUSML,并为它们的泛化性质提供了理论保证。跨……的大量实验
科学写作中生成式人工智能的声明
生成式人工智能(AI)工具,包括ChatGPT(OpenAI)等大型语言模型,仅被用于润色文章并提升稿件的清晰度与可读性。作者确认未使用任何AI工具生成科学内容、执行数据分析、得出结论或创建图表。所有智力与技术贡献,包括构想、方法学、实验、理论分析以及……
提交声明
我们在此声明,本稿件所述工作具有原创性,此前未曾发表,除经同行评审的会议论文形式外。本次投稿代表我们早期会议发表内容的实质扩展与修订版本,融入了新的理论分析、算法开发以及广泛的实验结果。本稿件未同时向其他刊物投稿。全体作者均已阅读并批准最终……
CRediT作者贡献声明
Weisen Jiang:撰写—审阅与编辑,撰写—初稿,软件,方法学,调查研究,形式化分析,数据整理,概念构思。
Yu Zhang:撰写—审阅与编辑,监督,资金获取。
James T. Kwok:撰写—审阅与编辑,监督,资金获取。
利益冲突声明
作者声明不存在任何可能影响本文所报告工作的已知竞争性经济利益或个人关系。
Weisen Jiang是中国香港大学计算机科学与工程系的研究助理。他的研究聚焦于大语言模型与机器学习。他于2024年获香港科技大学博士学位。在转入学术界之前,他曾在腾讯和美团从事推荐系统相关工作。江博士已在ICML、ICLR、NeurIPS及TPAMI等顶级会议与期刊上发表超过十篇论文。他还担任ICLR的领域主席,并定期为顶尖……
Weisen Jiang | Yu Zhang | James T. Kwok
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号