《Scientific Reports》:Controlling memorability of face images with generative models
编辑推荐:
为解决不同人脸图像在记忆性(memorability)上存在差异且可控调节方法缺乏的问题,研究人员开展了一项主题为“利用生成模型控制人脸图像记忆性”的研究。他们提出了一种快速方法,通过在StyleGAN的隐空间中定位区分高/低记忆性图像的超平面,并沿其法向量移动图像来调节其记忆性。该方法成功应用于真实与合成人脸,并能扩展至多类图像,同时开发了在保持身份不变的前提下修改记忆性分数的多级技术,为理解和操控图像记忆性提供了新工具。
每天,我们的视线都会掠过无数张人脸照片,无论是在社交媒体、电视还是智能手机上。从进化角度看,人脸具有特殊的显著性,往往更容易被记住,这可能源于它们在生存和社会互动中的重要性。然而,并非所有人脸照片都拥有相同的“记忆烙印”——有些面孔过目不忘,有些则转瞬即忘。尽管已有研究开始探索影响面孔记忆性(memorability)的特征,但这个领域在很大程度上仍是一片未知的疆域。一个核心问题悬而未决:我们能否像调节音量一样,主动、精准地控制一张人脸图像的“记忆强度”?这项发表在《Scientific Reports》上的研究,正是为了回答这个充满吸引力的问题。
为了探寻控制人脸图像记忆性的方法,研究人员主要运用了以下关键技术:首先,利用在大型人脸数据集上预训练的StyleGAN(一种生成对抗网络)模型及其隐空间(latent space)。其次,通过收集人脸图像及其记忆性分数数据集,在StyleGAN的隐空间中,采用支持向量机(SVM)算法辨识出一个能够有效区分高记忆性与低记忆性图像的最优分离超平面。最后,基于此超平面的法向量方向,通过简单的向量加减运算,在隐空间中对图像编码进行平移,从而实现对其记忆性分数的定向编辑。整个流程无需重新训练生成模型,因而非常高效。
Memorability Hyperplane in StyleGAN Latent Space
研究人员首先收集了大量人脸图像及其对应的人类记忆性分数。随后,他们将这些真实图像通过一个预训练的StyleGAN模型的编码器,映射到其隐空间中。在这个高维空间中,每个图像都对应一个点(即隐码)。研究者利用支持向量机(SVM)在这些点中寻找一个最优分离超平面,该超平面能最好地区分高记忆性图像和低记忆性图像。实验证实,这样的超平面是存在的,并且与记忆性分数显著相关。这表明,在生成模型的隐空间中,记忆性确实具有可解释的几何结构方向。
Controlling Memorability via Latent Space Manipulation
基于发现的记忆性超平面,研究人员提出了一种直接的操控方法。对于任意给定的一张人脸图像(无论是真实的还是由StyleGAN合成的),先将其映射到隐空间中得到其对应的隐码。要提升其记忆性,就将其隐码沿着超平面法向量的“正方向”移动一定距离;反之,要降低记忆性,则沿“负方向”移动。移动后的新隐码再通过StyleGAN的解码器,即可生成一张新的、记忆性被修改过的人脸图像。这种方法的关键在于,它不依赖于特定面部属性的标注(如微笑、年龄等),而是直接操作于记忆性这个整体感知属性。
Generalization to Real Face Images and Beyond Faces
一个重要的验证是该方法在真实人脸图像上的有效性。通常,生成模型在合成数据上表现良好,但应用于真实图像时可能遇到困难。本研究通过编码器将真实图像投影到StyleGAN的隐空间,并应用相同的操控策略,成功地改变了真实人脸的感知记忆性。此外,研究的视野并未局限于人脸。通过在另一个在多样化图像数据集(如LSUN教堂、汽车类别)上训练的StyleGAN模型上重复上述流程,研究证明这种基于隐空间超平面的记忆性控制方法可以泛化到其他物体类别图像上,显示了其潜在的普适性。
Identity-Preserving Multi-Level Memorability Editing
在人脸应用中,改变记忆性的同时,保持人物的身份不变是一个有价值且更具挑战性的目标。为此,研究人员进一步提出了一个多级记忆性编辑框架。该框架将StyleGAN的隐空间分解为与身份相关的子空间和与属性(包括记忆性)相关的子空间。通过将记忆性操控严格限制在属性子空间内,并利用身份子空间来保持原始身份信息,该方法能够在显著调节图像记忆性分数的同时,最大程度地维持人脸的身份特征。这为实现精细化的图像属性编辑提供了新思路。
Analysis of Facial Attributes and Memorability
利用StyleGAN隐空间的高度解纠缠特性,研究人员还深入分析了哪些面部属性与记忆性相关。通过观察沿记忆性方向编辑时图像特征的系统性变化,他们发现,提升记忆性往往会使面部看起来“更快乐”、更年轻、吸引力评分更高,并且可能伴随特定的头部姿态和光照角度变化。这为理解“什么让一张脸更容易被记住”提供了可解释的视觉线索,将抽象的感知属性与具体的、可生成的形象特征联系了起来。
结论与讨论
本研究发展了一种基于生成模型隐空间几何结构的、高效的人脸及其他类别图像记忆性操控方法。核心结论是,在生成对抗网络(如StyleGAN)的隐空间中,存在一个明确的“记忆性方向”,沿此方向移动图像的隐码,可以系统性地、可预测地改变其被记住的可能性。该方法不仅适用于合成图像,也能有效操控真实人脸照片的记忆性,并可通过多级编辑技术实现在保持身份不变的前提下进行修改。此外,对隐空间的分析揭示了与高记忆性相关的可解释面部属性。
这项工作的意义深远。在基础科学层面,它为探索记忆性这一高层认知感知属性提供了新的计算模型和可操控的实验范式,架起了计算机视觉与认知心理学之间的桥梁。在应用技术层面,该方法具有广泛潜力:例如,在教育领域设计更易被记住的教学材料;在广告和社交媒体中优化内容的印象影响力;在安全领域,协助设计更易或更难以被目击者记住的面部合成图像;甚至为记忆障碍患者设计辅助记忆工具。研究也指出,记忆性是一个复杂、多维度的感知属性,当前方法主要操控其整体强度,未来可探索对记忆性不同维度(如为何被记住是因其“独特”还是“愉悦”)进行更精细的分离与控制。总之,这项工作向我们展示,通过人工智能的“透镜”,我们不仅能够度量,更能开始“雕刻”人类记忆的痕迹。