《Information Processing in Agriculture》:AquaLytic: Closed-form species-incremental learning for acoustic fish feeding intensity recognition in aquaculture
编辑推荐:
水产养殖目前供应的养殖水生动物数量已超过野生捕捞渔业,并持续以比其他任何食品生产部门更快的速度扩张。在此增长进程中,饲料是主要的经常性支出,在集约化系统中通常占生产成本的一半以上。饲料投喂的数量和时机因此具有直接的经济和环境后果。投喂超过鱼类实际消耗量的饲料会
水产养殖目前供应的养殖水生动物数量已超过野生捕捞渔业,并持续以比其他任何食品生产部门更快的速度扩张。在此增长进程中,饲料是主要的经常性支出,在集约化系统中通常占生产成本的一半以上。饲料投喂的数量和时机因此具有直接的经济和环境后果。投喂超过鱼类实际消耗量的饲料会浪费饲料,并使水体富集未食用的残留物,而投喂过少则会抑制生长并损害福利。实时评估摄食需求需要对持续进行的摄食行为强度进行量化。鱼类摄食强度识别(Fish Feeding Intensity Recognition, FFIR)通过从可观察的摄食行为中推断食欲来满足这一需求,将其转化为投喂系统可据此采取行动以匹配投喂量与需求的信号。摄食强度最初通过计算机视觉技术处理,利用水上和水下摄像头捕获伴随摄食行为的运动和表面扰动。早期方法基于静态图像,表明卷积网络可以直接从单帧分类摄食状态。然而,由于摄食本质上是时间过程,研究重点很快从单帧转向运动。M?l?y等人首次利用时空循环网络从水下视频中识别鲑鱼摄食行为,捕捉了这一时间维度。为更明确地利用运动信息,Wang等人通过双流三维卷积网络融合RGB帧与光流。随后引入注意力机制以强化相关特征。沿此方向,Yang等人在EfficientNet-B2骨干网络上构建了双注意力网络用于短期集群分析。更近期的工作将此类精度提升与更严格的效率预算相结合。Cai等人以不同方式实现相同的效率目标,采用两阶段流程,首先定位摄食区域,然后在浑浊水体中对其强度进行分级。除识别本身外,一些系统已将模型直接嵌入基于摄像头的投喂硬件中,用于闭环控制。尽管取得了这些进展,基于视觉的FFIR仍受限于感知模态本身。光学感知在商业养殖池的浑浊度、不均匀光照和表面泡沫条件下会退化,且摄像头需要定期清洁和更换,这一运维成本在每个养殖池都会发生,并随设施规模增长而增加。与视觉相比,声学感知不受浑浊度、光照或表面泡沫的影响,且水下听音器无需水面以上的安装维护。早期被动声学研究已证实摄食信号具有足够的可区分性以供量化。Halfyard等人表明声学仪器可以解析自由游动鱼类的离散摄食事件,确立了摄食会在声学感知中留下可访问信号这一事实。在此基础上,Cui等人发布了AFFIA3K,这是第一个带标注的鱼类摄食声音语料库,并利用卷积基线模型证明仅凭音频即可恢复摄食强度。后续大量工作聚焦于如何最佳地表示声学信号。Zeng等人通过建模卷积模型所忽略的时频结构,采用Swin Transformer将摄食强度分为四个等级。Du等人则在一个轻量级网络内融合互补的声谱图表示,更完整地描述摄食声音。最近,研究重点转向通过将声学与第二感知通道配对来提高鲁棒性。多模态框架通过基于注意力的设计融合听音器信号与声呐图像,以紧凑的模型尺寸报告了高精度。然而,此类增益来自增加第二传感器和相应基础设施。纯音频FFIR在以往比较中的精度通常低于最强的视觉或融合系统,但其对浑浊、光照不良水体的鲁棒性以及低感知与维护成本,使其在大规模连续单传感器运行中仍是实用选择。尽管感知模态不同,上述视觉与声学方法的共同结构性假设是:目标物种集合在训练前固定,每个模型仅针对预定物种列表拟合一次,且从不期望其识别列表之外的物种。然而,商业水产养殖并非在此静态模式下运行。设施随着生产扩张引入新物种,在不同养殖季节间轮换养殖池中的存量,并根据市场需求重新配置物种组合。每一次此类变化都会使固定集合模型面对其从未训练过的摄食声音。每当添加物种时从头重新训练在计算上是昂贵的,并丢弃了已在使用的模型,而仅在新物种上微调则会导致灾难性遗忘,即在先前学习的物种上精度崩溃。商业部署实际需要的是能够增量地添加物种,无需重新训练,也无需保留早期物种的原始录音,这些录音携带敏感的操作信息,并随物种名单增长而无限制地累积。持续学习通常分为任务增量、类增量和领域增量设置。本文问题属于领域增量,因为四个摄食强度等级始终保持固定,而声学分布随每个新物种而偏移。现有方法分为两大系列。基于正则化的方法,如“不遗忘学习”(Learning without Forgetting)和弹性权重巩固(Elastic Weight Consolidation),通过限制参数在新数据到达时允许移动的距离来约束参数,不存储过去的样本,但一旦累积多个阶段,其保护作用便变得较弱。基于重放的方法,如iCaRL,则保留过去样本的记忆用于排练,这种方法更有效,但要求存储原始数据,其体量随每个增加的类别而增长。第二个系列最近已被引入声学FFIR,即AquaRecall,它结合了样本重放与双重知识蒸馏,据研究人员所知,这是目前唯一针对该任务开发的增量方法。该方法有效,但继承了该系列的定义性成本,因为必须保留每个早期物种的原始摄食录音。更广泛地说,增量学习已开始出现在水产养殖和农业领域,例如蟹类物种识别和植物病害检测,但尚未为声学FFIR开发出无样本方法,上述部署约束仍未解决。第三个且更近的系列则直接规避这些约束。解析持续学习冻结预训练骨干网络,并通过递归闭式解获得线性分类器,始于ACIL,并经DS-AL和GACL发展。RanPAC确立了本文采用的组合方式,即先通过固定的随机投影扩展冻结嵌入,再应用格拉姆矩阵岭回归解。由于每次更新都是精确的,所得模型等价于在迄今为止所见全部数据的冻结特征上联合训练的模型,因此遗忘是由构造而消除的,而非仅仅被抑制。整个过程无需存储过去的样本,这使解析学习自然成为无样本且无梯度的。然而,该系列几乎完全是在类增量协议下的图像基准上开发的,且其公式假设了名义单标签目标。由此引出本场景的三个空白:名义目标无法表征摄食强度的有序结构,其中混淆远距离等级比混淆相邻等级更严重,而能够解决这一问题的序数目标是通过逻辑似然定义的,没有闭式解;解析求解产生的量仅用于分类,尽管它们也携带输入是否落在训练数据覆盖区域内的信息;以及声学领域增量设置中标签空间固定而输入分布偏移的情形尚未得到检验。为解决这些挑战,研究人员提出了AquaLytic,据研究人员所知,这是首个用于声学鱼类摄食强度识别的无样本增量学习框架。研究人员的贡献总结如下:(1)提出了AquaLytic,冻结预训练音频编码器,并通过闭式解析更新学习每个新物种,无需反向传播,也不存储过去的音频。为保持摄食强度的序数结构,将CORAL秩一致性目标重构为与此闭式解兼容的对称边距回归目标,将解析学习扩展到其先前假设的名义单标签目标之外。(2)证明同一闭式解可提供两个互补的置信信号,以无需额外训练成本的方式标记来自未见物种的录音,使新遇到的物种到达时即被检测,并在被添加后可靠识别,而非被静默误分类。(3)在Cui等人的七物种声学基准上进行了评估,并通过系统的消融研究确定了在该场景下主导性能的设计选择。AquaLytic在六个增量阶段后达到75.08%的最终准确率和4.33%的遗忘率,在不存储任何原始音频的情况下,以4.48个百分点的优势超过了最强先验方法AquaRecall,并以0.916的平均AUROC检测未见物种。
**1. 研究背景与问题**
水产养殖中,饲料是最大的经常性成本,精准投喂直接关系经济效益与水质环境。鱼类摄食强度识别(FFIR)通过量化摄食行为推断食欲,为自动投喂系统提供决策依据。视觉方法受水体浑浊度、光照不均等影响,而声学方法对上述条件不敏感,但现有声学FFIR模型均假设物种集合固定,一旦养殖场引入新物种,模型无法正确识别。重新训练成本高,微调则引发灾难性遗忘。现有增量方法中,正则化方法保护弱,重放方法需存储原始音频,数据量随物种增加而膨胀,且存在敏感信息泄露风险。AquaRecall虽将增量学习引入声学FFIR,但仍依赖样本回放。解析持续学习方法虽然能实现无样本精确更新,但此前仅面向图像分类和名义标签,无法处理摄食强度的有序结构和领域增量场景。因此,研究人员提出AquaLytic,首个面向声学鱼类摄食强度识别的无样本闭式增量学习框架,旨在实现无原始音频存储、无遗忘、且能检测未见物种的增量学习。
**2. 方法与结论概述**
研究人员构建了七物种(红罗非鱼、罗非鱼、翡翠鲈、大口黑鲈、莲花鲤、翻车鱼、条石鲷)声学基准,采用冻结预训练音频编码器(PANNs家族Cnn14-MobileNetV2),并通过固定随机投影将嵌入提升至更高维度,以闭式岭回归求解序数分类头。通过CORAL边距回归目标将序数学习融入闭式解;累积统计量实现物种增量更新;利用后验方差和物种头置信度融合检测未见物种。实验表明,AquaLytic在六阶段增量后达到75.08%最终准确率和4.33%遗忘率,超过最强基线AquaRecall(70.60%准确率、19.30%遗忘率)4.48个百分点,且不存储任何原始音频,并以0.9162平均AUROC检测未见物种,验证了框架的有效性和部署实用性。
**3. 关键技术方法**
样本队列:数据来自中国山东烟台循环水养殖场(条石鲷Oplegnathus punctatus,17天101次摄食会话)和广州水产技术推广站商业规模养殖池(其余六种,每物种14-18天、24-33次摄食会话),均使用水下听音器(LST-DH01,256 kHz采样)采集,经处理形成Audio-SIL-FFIR基准,每个2秒剪辑标注四级摄食强度(无/弱/中/强)。主要方法:(1)冻结音频编码器:Cnn14-MobileNetV2在首个物种上以CORAL损失监督训练后冻结,作为固定特征提取器;(2)随机投影:固定高斯矩阵将512维嵌入映射至8192维并施加ReLU,提升线性可分性;(3)闭式岭回归:通过累积统计量A和B,以闭式解β=(A+λI)
-1B求解序数头,新物种仅需更新统计量并重新求解,无需反向传播;(4)CORAL边距回归:将秩一致性目标重构为±m边距回归目标,兼容闭式解;(5)未见物种检测:复用同一矩阵求后验方差q(x)和物种头置信度conf(x),经z-score标准化融合。所有超参数仅在阶段0验证集上选取,测试集未参与任何选择。
**4. 研究结果**
**4.1 与基线方法对比**
在七物种基准上,AquaLytic达到75.08%最终准确率和4.33%遗忘率,显著超过所有基线。最终准确率比最强重放方法AquaRecall高4.48个百分点,遗忘率从19.30%降至4.33%。平均准确率(80.99%)和平均遗忘率(3.28%)同样均优于AquaRecall(74.80%和20.80%),与联合训练上界(84.96%)的差距缩小至9.88个百分点。t-SNE可视化显示,AquaLytic在六阶段后完整保留阶段0特征几何结构,阶段0准确率保持在85.7%,而正则化方法完全崩塌、重放方法部分退化。
**4.2 消融研究**
**4.2.1 随机投影的作用**:投影维度从1024增至8192时,平均准确率从74.47%升至80.99%并在8192处达峰;继续增至16384时平均准确率降至80.86%,平均遗忘率升至3.69%。高维投影使强度等级更线性可分,但过高维度导致系统欠定,固定正则化约束不足,拟合最近阶段特异性变化而损害早期物种保留。
**4.2.2 核心组件贡献**:去除随机投影后,最终准确率从75.08%降至65.26%;将CORAL目标替换为单标签目标后,最终准确率降至73.48%,遗忘率升至4.78%。两者均证实随机投影和序数目标的不可替代性。
**4.2.3 超参数敏感性**:岭系数λ在0.1至100范围内,平均准确率变化不超过0.5个百分点,遗忘率变化不超过1个百分点,λ=1为稳健默认值。CORAL边距m=4为最优:m=1时对数几率压缩至零附近,解码崩溃为单级预测;m=8时进入sigmoid饱和区,相邻等级区分度模糊。
**4.2.4 物种顺序鲁棒性**:在固定阶段0物种下随机排列其余六个物种,最终准确率保持在75.09%±0.05%,遗忘率4.28%±0.05%,与标准顺序(75.08%、4.33%)几乎一致,证明更新规则在数学上对顺序不变。但阶段0物种身份影响显著:以罗非鱼或条石鲷替代红罗非鱼作为阶段0,最终准确率分别下降2.05和1.46个百分点,表明存在有界但真实的阶段0依赖。
**4.3 逐物种分析**
遗忘程度与物种经受的后续更新次数相关:阶段0红罗非鱼经六次更新后仅遗忘4.3%;后期引入的翻车鱼(阶段5)和条石鲷(阶段6)分别仅遗忘0.7%和0.0%。翻车鱼最终准确率最低(62.5%)但其遗忘率仅0.7%,说明其低精度源于内在难度而非增量遗忘,其声谱图相对弥散、对比度低。罗非鱼虽比红罗非鱼晚一阶段引入(经受更新更少),遗忘却更高(5.4% vs 4.3%),推测因两者同属近缘、声学特征相似导致相互干扰。
**4.4 未见物种检测**
零样本强度识别中,未见物种准确率平均仅36.74%,略高于多数类基线(33.02%),且误差集中于低强度等级。通过后验方差与物种头置信度z-score融合,检测未见物种的平均AUROC达0.9162,超过任一单独信号。后验方差在声学遥远物种上最强(阶段6条石鲷达0.9931),物种头置信度在多物种积累后最强(阶段5达0.9424)。固定阈值(Youden's J选取)下,池化敏感度为81.15%,特异性为84.60%。
**4.5 骨干网泛化与部署成本**
在四种不同骨干(Cnn14-MobileNetV2、MobileViT、MobileNetV2、PANNs Cnn10)上,最终准确率从75.08%到75.98%变化不足1个百分点,而检测AUROC随容量增大从0.9162提升至0.9611,表明识别与检测能力解耦。部署成本方面,闭式求解约0.5秒,统计量存储恒定256 MB,添加新物种约1.4-1.9分钟(CPU),均与骨干无关,且不随物种数量增长。
**5. 讨论与结论**
讨论部分指出,AquaLytic通过冻结表示和累积精确统计量,从构造上消除遗忘,而非抑制遗忘。其顺序不变性、恒定内存和确定性更新均源于此单一设计选择。识别与检测构成带反馈回路的完整系统,弥补各自盲区:闭合集识别器对未见物种静默失效,增量学习者无法感知知识过期,二者结合可形成现场闭环。但研究存在局限:冻结编码器阻止后期适应,留下与联合训练的差距;阶段0身份存在敏感性;阶段0仍需梯度训练;剪辑级划分可能使同一摄食事件分入不同分区;条石鲷阶段混杂了环境和物种变化;检测信号等权融合在强度差异显著时被稀释。结论部分总结,AquaLytic在七物种基准上达到75.08%最终准确率、4.33%遗忘率、0.9162检测AUROC,实现无需原始音频、顺序不变、内存恒定,单次更新仅需1-2分钟CPU时间。未来方向包括周期性重校准或更大规模预训练编码器以缓解阶段0依赖,以及自适应融合检测信号或将检测扩展至指导新物种纳入策略。