编辑推荐:
姿态估计方法和运动捕捉系统为动物运动学的定量测量打开了大门。尽管动物行为实验昂贵且复杂,追踪误差有时会使大部分实验数据无法使用。本文研究人员提出的深度学习方法,即用于骨架数据的深度插补(DISK),揭示了关键点及其动态之间的依赖关系,无需任何人工标注即可插补缺
姿态估计方法和运动捕捉系统为动物运动学的定量测量打开了大门。尽管动物行为实验昂贵且复杂,追踪误差有时会使大部分实验数据无法使用。本文研究人员提出的深度学习方法,即用于骨架数据的深度插补(DISK),揭示了关键点及其动态之间的依赖关系,无需任何人工标注即可插补缺失的追踪数据。研究人员在包括多动物设置在内的七个动物骨架上展示了DISK的实用性和性能。插补后的记录使得研究人员能够检测到更多的运动片段,例如步态,并在比较不同实验条件之间的这些片段时获得更统计稳健的结果。此外,通过学习插补缺失内容,DISK学习了有意义的表征,捕捉了例如潜在行为。这个独立的插补软件包可在https://github.com/bozeklab/DISK.git/获取,适用于追踪方法(基于标记或无标记)的输出,并支持多种下游分析。
**论文解读:用于行为科学的骨架数据深度插补(DISK)**
**研究背景与问题**
动物行为研究依赖高精度的运动追踪技术,如基于标记的运动捕捉系统和无标记的姿态估计方法(例如DeepLabCut、LEAP)。这些技术通过记录关键点的时间序列构成骨架,用于行为识别与量化分析。然而,实验过程中常出现数据缺失问题:无标记方法因光照不足、模糊、遮挡或自动追踪错误导致关键点丢失;基于标记的方法则因遮挡或三角测量质量差而无法完整记录。缺失数据导致序列不完整,阻碍下游行为分析,而动物实验成本高、难以重复,人工标注耗时且受限于条件。现有事后处理方法(如Anipose、OptiPose、Keypoint-MoSeq)多针对无标记系统特定误差,缺乏通用性;而基于深度学习的MarkerBasedImputation虽针对运动捕捉数据,但未在多个数据集上充分基准测试。因此,亟需一种通用、无监督的骨架数据缺失值插补方法,能处理不同动物种类(包括多动物)和追踪技术,并提升下游分析的统计效力。
**研究内容与结论**
本研究提出了Deep Imputation for Skeleton data(DISK),一种用于二维(2D)和三维(3D)骨架数据缺失值插补的深度学习方法。DISK采用完全无监督训练策略,通过人工引入模拟真实缺失模式的间隙,学习关键点间的时空依赖关系。研究人员在七个数据集上验证了DISK的通用性,涵盖小鼠、果蝇、斑马鱼、大鼠、人类等物种,涉及单动物和多动物设置,关键点数量从6到38个不等,原始缺失比例从0%到44%。结果表明,DISK在所有测试数据集上均优于线性插值、门控循环单元(GRU)等基线方法,根均方误差(RMSE)降低至少2倍。此外,DISK能同时插补多个缺失关键点,在双动物数据中利用动物间互动关系提升性能。通过概率扩展(DISK-proba),模型可输出预测置信度,估计误差与真实误差高度相关(皮尔逊相关系数0.891),支持按质量筛选插补结果。在潜在表征分析中,DISK通过自监督学习捕获了运动序列的对称性、方向、速度等语义特征,用于行为分类(人类数据集平衡F1分数0.86,小鼠数据集0.85)。最后,在小鼠药理学实验数据中,插补后检测到的步态事件平均增加57%,统计显著性增强,揭示了药物引起的步态运动学差异。该论文发表在《Nature Methods》。
**主要技术方法**
DISK采用无监督学习框架:仅使用完整数据段,根据原始数据中每个关键点缺失的频率和长度分布,动态引入人工间隙。核心架构为Transformer编码器,融合坐标线性投影、时间嵌入、关键点身份嵌入和缺失掩码嵌入。此外,研究人员测试了GRU、时间卷积网络(TCN)、时空图卷积网络(ST-GCN)和时空分离图卷积网络(STS-GCN),并比较了OptiPose、Keypoint-MoSeq和MarkerBasedImputation。DISK还包含开关数据增强模块,提高对关键点交换错误的鲁棒性。样本队列来源:7个公开数据集,包括小鼠FL2(地面探索)和CLB(攀爬)数据集(来自参考文献9)、2-Mice-2D数据集(CalMS21挑战赛)、DF3D果蝇数据集(来自参考文献42)、2-Fish斑马鱼数据集(来自参考文献31)、Rat7M大鼠数据集(来自参考文献4)和CMU Human MoCap数据集(来自参考文献60)。
**研究结果**
1. **DISK uses an unsupervised learning paradigm**:研究者观察到缺失模式依赖于关键点身份、任务和相机设置,因此设计无监督训练方案,根据观察到的缺失概率分布插入人工间隙,使网络专注于类似真实缺失的模式。
2. **DISK correctly imputes missing skeleton data**:通过对比多种架构(Transformer、GRU、TCN、ST-GCN、STS-GCN)和现有方法(线性插值、OptiPose、Keypoint-MoSeq、MarkerBasedImputation),DISK在所有数据集上RMSE最低,且误差随间隙长度增长保持稳定,优于其他方法。每关键点分析显示,骨架端点(如四肢末端)插补难度高于核心点(如脊柱)。
3. **Estimated error allows filtering of imputed data based on their quality**:DISK-proba通过输出高斯分布参数(均值与标准差),估计误差与真实RMSE高度相关,可设定阈值筛选高质量插补结果,提升下游分析可靠性。
4. **DISK can impute multiple missing keypoints in single-animal and multi-animal setups**:在小鼠FL2数据集上,当缺失关键点少于一半时性能稳定;在双鱼数据中,DISK能利用动物间距离依赖的动态关系,短间隙时误差低且不随距离变化,长间隙时误差随距离增加。
5. **DISK learns coherent symmetries and similarities between motion sequences**:通过UMAP可视化潜在空间,DISK保留了序列的左右对称性、体态角度、速度等特征,并成功区分不同行为类别(如人类动作中的行走、攀爬)。随机森林分类器验证了其表征能力。
6. **Imputed data enable finer analysis of drug-induced differences in locomotion**:在小鼠药理学实验中,插补后步态检测数量增加57%,更接近人工计数;步态特征(步幅长度、摆动持续时间)在药物组与对照组间的统计差异在插补后变得显著,支持更精细的运动学分析。
**讨论与结论**
讨论部分指出,DISK是一种通用方法,适用于多种物种和追踪技术,通过自监督学习不仅插补缺失数据,还构建了有意义的运动表征。该方法利用关键点间的时空依赖性,能处理多动物互动中的复杂相关性。尽管需要足够数据量(至少2,000个序列),但可通过调整样本长度和步长优化。DISK无需丢弃不完整数据,显著降低人工标注成本,尤其适用于不可重复的动物行为实验。研究结论:DISK允许行为科学家充分利用复杂且昂贵的动物行为实验记录,通过插补缺失数据获取更完整的运动信息,从而提升统计稳健性和分析深度。该开源软件包(https://github.com/bozeklab/DISK.git/)支持多种下游分析,为行为科学领域的数据后处理提供了有效工具。