《Ecological Informatics》:Classifying rodent behaviors one frame at a time: A CNN-based method
编辑推荐:
动物行为的分类在药理学、神经科学和生态学等学科中至关重要。传统方法劳动密集、耗时且依赖于人类观察,而许多现有的自动化方法依赖于姿态估计和时间模型,这需要大量的数据、标注和计算资源。本研究提出了一种非时序的逐帧深度学习方法,直接从标注的视频帧中分类啮齿动物行为,
动物行为的分类在药理学、神经科学和生态学等学科中至关重要。传统方法劳动密集、耗时且依赖于人类观察,而许多现有的自动化方法依赖于姿态估计和时间模型,这需要大量的数据、标注和计算资源。本研究提出了一种非时序的逐帧深度学习方法,直接从标注的视频帧中分类啮齿动物行为,不依赖于姿态估计、身体部位分割或时间上下文,仅需要帧级标注。研究人员构建了一个大型图像数据集,代表操作性条件反射箱(operant conditioning chambers)中的不同啮齿动物行为,以评估各种规模的多个卷积神经网络(CNN)架构。结果显示,深度CNN在准确率和F1-分数(F1-score)方面取得了高分类性能。模型在具有挑战性的条件下(包括受限的训练数据、噪声标签和低主体多样性)保持强劲性能,展示了其数据效率和鲁棒性。即使在使用有限数量动物的数据训练时,性能也保持稳定,支持该方法在群体级行为分类中的实用性。这些结果共同表明,即使在有限数据可用性和标签噪声等现实实验约束下,无需时间上下文也能实现稳健的行为分类。所提出的框架还提供了跨不同数据格式的灵活性,包括静态图像和部分视频记录。总体而言,该方法为行为研究人员提供了一种可访问且可扩展的替代方案,降低了自动化动物行为分析的门槛,同时保持了强大的分类性能。
动物行为分类在药理学、神经科学和生态学等学科中至关重要,但传统人工观察方法劳动密集、耗时且易受观察者漂移和标注者间差异影响。现有自动化方法多依赖姿态估计或时序模型,需要大量数据、精细标注和计算资源,且姿态估计易受遮挡和不佳视角影响,导致关键点“幻觉”问题。为解决这些局限,研究人员提出一种非时序的逐帧深度学习框架,直接从标注视频帧中分类啮齿动物行为,无需姿态估计、身体部位分割或时间上下文,仅需帧级行为标签。该研究构建了包含116,000张RGB图像的数据集,来自7只雄性实验室大鼠(Roman High-/Low-Avoidance品系,RHA/LHA),在操作性条件反射箱中录制,涵盖七种行为:Floor-Explore、Floor-Poke、Floor-Bite、Stand-Explore、Stand-Eat、Stand-Poke、Stand-Bite。论文发表在《Ecological Informatics》。主要结论是:深度卷积神经网络(CNN)可仅从单帧实现高分类性能,且对训练数据有限、标签噪声和主体多样性不足等现实约束具有鲁棒性,为行为分析提供了一种可访问、可扩展的替代方案,降低了自动化分析的门槛。
关键技术方法(不超过250字):样本来源于UNED University(西班牙)先前实验的视频记录,包含7只雄性RHA/LHA大鼠。预处理:对每帧应用熵滤波器阈值分割和形态学操作提取大鼠质心,裁剪并缩放至128×128像素。模型架构:评估预训练的InceptionNetV3、ResNet(18/50/152)、DenseNet(121/169/201)、EfficientNetV2(S/M/L)以及DINOv3 ViT(S/B)进行帧级分类;为对比时间信息,还评估了3D ResNet-18、(2+1)D ResNet-18、MC3-18、X3D-L和MViT-B视频模型。评估策略:按时间顺序分割数据,移除中间60帧避免数据泄漏,采用重复留出交叉验证(K=5),每类训练采样1000帧、测试5000帧,保持类别平衡。
研究结果:
**模型对比**:通过比较9种CNN和2种ViT架构,所有模型均表现优异,EfficientNetV2-L达到最高准确率97%和F
1-分数96.99%,但Wilcoxon符号秩检验显示各模型性能差异无统计学显著性(p>0.05)。混淆矩阵分析表明,误分类主要发生在相同姿态的视觉相似行为之间,如Floor-Explore与Floor-Bite。
**时序信息的影响**:为评估时间信息贡献,对比视频模型(3D ResNet-18、(2+1)D ResNet-18、MC3-18、X3D-L、MViT-B)与帧级模型。所有视频模型准确率超过97%,MViT-B达到99.33%准确率和F
1-分数。帧级模型表现略低,但差异无统计学显著性,表明时间信息带来的提升微乎其微。
**数据集大小的影响**:通过限制训练样本数(100至5000),发现准确率随样本增加而上升,约300样本/行为即可超过90%准确率,1500样本后性能接近饱和(约97%),说明模型数据效率高。
**标签噪声的影响**:故意引入5%-50%的标签错误,模型在约15%噪声以下仍保持90%以上准确率,表明对中等程度标注噪声具有鲁棒性。
**主体多样性的影响**:通过改变训练中使用的大鼠数量(1至6只),准确率随个体多样性增加而提升。EfficientNetV2-L在单只大鼠训练时即可超90%准确率,但依赖具体个体;多只大鼠训练可改善泛化,减少过拟合。
讨论部分总结:研究证实深度CNN能够从单帧有效分类啮齿动物行为,对训练数据规模、标签噪声和个体多样性有限等现实限制具有鲁棒性。模型在视觉相似行为的区分上仍存在局限,但误分类模式与人类判断一致。非时序方法避免了姿态估计和时序模型的复杂度,降低了计算和标注成本,同时保持高准确率,为行为分析提供了实用且灵活的替代方案。未来可引入轻量时间线索或可选姿态特征进一步提升细粒度区分能力。
翻译研究结论部分:该研究证明,深度卷积神经网络(CNN)可直接从单帧图像实现啮齿动物行为的高分类性能,无需依赖时间数据、姿态估计或复杂跟踪流程。通过直接操作原始图像并仅需简单行为标签而非详细姿态标注,所提出的方法为传统方法提供了一种实用、灵活且资源高效的替代方案。这降低了计算和数据要求,同时降低了行为研究人员的采纳门槛,使其能够在有限资源和标准硬件下进行分析。该框架还适用于多种数据格式,包括静态图像、短视频片段和低帧率记录,增强了其在多样化实验设置中的适用性。总体而言,这些发现证实,静态帧CNN模型为自动化行为识别提供了稳健且可扩展的基础。未来工作可探索整合轻量时间线索或可选姿态特征,以在保持非时序框架的简洁性和效率的同时进一步提升性能。