面向Rocaille装饰形态分割与分析的多模态18世纪版画数据集

《Scientific Data》:A Multimodal Dataset of 18th-Century Prints for Segmentation and Analysis of Rocaille Ornaments

【字体: 大 中 小 】 时间:2026年11月23日 来源:Scientific Data 7.2

编辑推荐:

  研究人员提出了一个面向18世纪洛可可(Rococo)装饰版画计算研究的多模态数据集(dataset)。Rocaille(Rocaille)作为该时期极具代表性的装饰纹样,其形态持续演变,历史上一直难以被系统化地形式描述。该数据集包含来自德国主要收藏机构的1,6

  
研究人员提出了一个面向18世纪洛可可(Rococo)装饰版画计算研究的多模态数据集(dataset)。Rocaille(Rocaille)作为该时期极具代表性的装饰纹样,其形态持续演变,历史上一直难以被系统化地形式描述。该数据集包含来自德国主要收藏机构的1,611幅高分辨率数字化图像,并配有由专家整理的双语元数据(metadata)及关于图像学(iconography)和装饰形态学的评注。其中229幅图像带有像素级精确的语义分割掩膜(segmentation masks),用于区分Rocaille的结构涡卷(volutes)与梳状延伸(comb-like extensions)。图像、结构化元数据、文本描述与分割标注共同支持从视觉多模态检索(visual multimodal retrieval)、语义分割(semantic segmentation)到形态分析(morphological analysis)等多类计算任务。作为技术验证(technical validation),研究人员训练了两个标准的视觉骨干网络(vision backbones)用于分割任务,结果表明该标注具备可学习的分割信号,且基于外部数据与本数据集的预训练均能有效支持下游学习。代码、数据划分(data splits)、训练模型权重与评估结果均已公开,以促进该资源的可复现使用。该数据集为艺术史(art history)、数字人文(digital humanities)与计算机视觉(computer vision)交叉领域的跨学科研究奠定了基础。

研究背景与意义

在早期现代(Early Modern,约1400—1800年)艺术史研究中,装饰纹样(ornament)体系极为庞杂,而Rocaille作为洛可可风格的核心装饰,兼具高度辨识度与极端形态流动性。其由C形与S形曲线的涡卷(volutes)构成骨架,并衍生出三维梳状延伸(comb-like extensions),在贝壳、岩石、叶片、树皮、羽毛与鳞片之间无缝过渡,导致传统艺术史的分类框架(如Decimal Index、Globus Iconographicus)无法对其做离散化描述。与此同时,计算侧的相关资源亦存在明显缺口:既有版画机器学习数据库(如printers’ ornaments库)缺乏像素级掩膜与形态标签;通用文化遗产分割数据集(如DEArt、绘画语义分割集)又未针对Rocaille的细粒度构件做标注。因此,艺术史端需要可量化形态比较的语料,计算机视觉端需要带结构语义的小样本精细分割基准,二者共同驱动了本多模态数据集的构建。

研究人员开展的工作与核心结论

研究人员以奥格斯堡(Augsburg,约1737—1770年为洛可可版画生产中心)馆藏版画为基础,从约7,000张原始数字化图中人工筛选出Rocaille占比≥10%的1,611幅高分辨率图像(分辨率2000×2000至7000×7000像素),来源覆盖Staats- und Stadtbibliothek Augsburg、Graphische Sammlung der Staatsgalerie Stuttgart、Staatliche Graphische Sammlung München三大德国馆藏。全部图像配备结构化目录字段与德英双语专家评注(宏观图像学层+微观形态层);其中229幅经领域专家在LabelStudio中完成像素级三分类掩膜标注(背景=0、涡卷=1、梳状延伸=2),并进一步将梳状延伸细分为shell-like、vegetal、miscellaneous三类写入评注。技术验证以固定划分(183训练/23验证/23测试)微调ConvNeXtV2(Tiny)与Swin Transformer V2(Tiny)接UperNet解码器,对比随机初始化、ImageNet初始化、以及在本数据集未标注部分(1,565张DDPM划分)上做去噪扩散概率模型(DDPM)自监督预训练三种条件。结论表明:标注信号可被网络学习(训练集前景mIoU显著高于测试集);DDPM域内预训练稳定优于随机初始化;ImageNet初始化取得最高前景mIoU(ConvNeXtV2测试mIoUFG=0.222±0.104,SwinV2=0.217±0.112);梳状类因形态异质性大,泛化仍受限。该资源首次把Rocaille的“骨架—附属体”结构转化为可监督像素任务,为跨艺术家、跨工坊的形态传播研究提供了可复现基线。

关键技术方法概括(≤250字)

样本队列来源于德国三大馆藏的奥格斯堡洛可可装饰版画,初筛约7,000张,终选1,611张高分辨率图像。主要方法包括:专家双层级(宏观/微观)双语元数据与评注构建;229幅图像的像素级三类语义分割掩膜标注(涡卷/梳状延伸/背景)及梳状延伸子类划分;固定数据划分下的UperNet+ConvNeXtV2-Tiny/SwinV2-Tiny语义分割基线;基于DDPM的域内自监督预训练(FiLM时间步调制+轻量层次解码器)与ImageNet迁移对比;全分辨率平铺推理(1024×1024瓦片、50%重叠、帐篷窗加权)及IoU/Dice/mIoUFG评估。

研究结果(按原文小标题浓缩)

Data Collection:以奥格斯堡版画为核心,补入斯图加特、慕尼黑馆藏,保留题名、编号、设计者、雕版师、出版者、来源签名与文献等目录字段,并叠加视觉母题与Rocaille形态评注,支撑图文检索。
Data Curation And Cleaning:人工校正斯图加特部分图像偏移,按印版边缘裁切;从约7,000张中选出Rocaille占比≥10%的1,611张,保证主要出版者、雕版师、风格与器物类型覆盖;标注子集按视觉/形态/主题代表性及成套系列(4—12张)抽取。
Data Annotation:先标线性涡卷扣(volute clasp)8周,再联合标涡卷+梳状延伸4个月(3名助理+LabelStudio),最后6周实验性细分梳状延伸为shell-like/vegetal/miscellaneous;通过每周反馈环解决植物纹样与Rocaille融合边界的歧义。
Data Records:四目录结构images/masks/text_data/splits;掩膜为单通道PNG(0/1/2);划分文件train_set.txt(183)、val_set.txt(23)、test_set.txt(23)、ddpm_train_set.txt(1,565,排除验证与测试)。
Data Overview:共标注8,392个涡卷(平均紧致度0.309、平均面积5,042 px2)与1,115个梳状结构(平均紧致度0.468、平均面积26,438 px2);每图平均41.5个形状,涡卷出现于全部229图,梳状仅出现于105图,背景像素占绝对主导。
Technical Validation:全局像素混淆矩阵显示ImageNet初始化最优,DDPM优于随机;训练集前景mIoU(ConvNeXtV2 0.473±0.156 / SwinV2 0.414±0.172)远高于测试集,说明可拟合但泛化受形态变异限制;逐图分布同样呈现随机<DDPM<ImageNet次序,且图间方差大。
Metrics:采用IoU、Dice、mIoUFG、IoUBinaryFG、mDiceFG,平铺推理用帐篷窗融合logits。

讨论与结论翻译

数据集、模型权重与代码以学术/教育用途免费发布(禁止商用),配套TIMM实例化、FiLM改造、UperNet解码器与全部超参脚本(Linux shell)。作者指出:像素级掩膜的加入把此前仅支持多模态检索的Rococo语料推进到定量形态分析层面,可系统比较艺术家、工坊与版画之间的风格变异;双语评注降低国际协作与英文多模态系统接入门槛;DDPM自监督结果证明未标注版画本身携带可迁移域内表征,对小样本艺术遗产分割具有方法学外推价值。结论部分原文要旨为——该资源在视觉、文本与结构标注三个层面同时成立,架起了计算方法与18世纪装饰版画艺术史追问之间的桥梁。
这份解读已经完成,接下来可以选择一个方向继续深化:
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号