《Smart Agricultural Technology》:Efficient Segmentation of Fish in Aquaculture with self-developed Low-Light Adaptive Camera
编辑推荐:
为解决水产养殖在低光环境下成像困难及人工标注掩码工作量大的问题,研究人员开展了一项集成自研低光自适应相机与大模型知识蒸馏的鱼类分割研究。该研究通过优化部署于NPU芯片的成像算法,使自研相机在低光水下场景获得更清晰的图像;同时,提出一种基于Segment Anything模型和YOLOv8的轻量化知识蒸馏框架,实现了无需人工掩码标注的高精度鱼类分割。该方案为提升水产养殖的智能化监测水平提供了有效技术路径。
在夜晚或浑浊的水下,想看清鱼塘里的鱼可不是件容易事。传统上,夜视技术依赖红外热成像,但水会强烈吸收红外线,鱼这类水生生物又是“冷血动物”,导致红外相机在水下“失明”。普通可见光相机在黑暗中也无能为力。这意味着,要实现水产养殖的全天候智能监测,首先得解决“看得见”的问题。另一方面,即使拍到了清晰的图像,要训练一个能自动识别和分割鱼体的AI模型,传统方法需要耗费大量人力为成千上万的图片手工标注轮廓,效率低下,成本高昂。那么,能否开发一种既能在黑暗水下看清目标,又能快速、低成本地训练出精准识别模型的“一站式”解决方案呢?
近期发表在《Smart Agricultural Technology》上的一篇研究给出了肯定答案。该研究团队来自中北大学,他们提出并验证了一套集成了专用硬件与智能算法的快速建模机制,旨在攻克水产养殖低光环境监测与自动化分析的难题。这项工作的核心在于“软硬结合”:硬件上,他们自行组装并优化了一款专为水下低光环境设计的2兆像素枪式相机;软件上,他们巧妙地利用当前强大的基础分割模型(Segment Anything Model, SAM)来自动生成训练标签,再通过知识蒸馏技术,将大模型的能力“传授”给一个轻量、快速的YOLOv8模型。最终,这套系统不仅能在黑暗中捕捉清晰的水下图像,还能以高精度、高帧率实时完成鱼体的检测与分割,且整个过程基本无需人工干预标注,为实现养殖场的智能化、无人化监控迈出了关键一步。
为开展此项研究,研究人员主要运用了以下几项关键技术方法:1. 专用低光相机系统设计与成像算法优化:自主组装了集成NPU(Neural Processing Unit)芯片的低光相机,并为其开发了一种针对水下图像清晰化的神经网络算法,该算法利用注意力机制的多尺度信息融合模块处理非均匀光散射,并通过混合损失函数(结合SSIM损失和对比损失)进行训练,最终模型优化后部署于相机NPU。2. 基于大模型的自动化标注流程:利用Segment Anything Model (SAM)这一基础分割模型,输入图像和文本提示(如“crucian carp”),自动生成鱼体的分割掩码,以此替代繁重的手工标注。3. 轻量化分割模型的知识蒸馏与训练:以YOLOv8架构作为学生模型,使用SAM自动生成的掩码数据进行训练,完成从大模型到轻量模型的知识蒸馏。实验数据来自在暗房水箱中,使用自研低光相机、佳能90D单反和红外相机在不同光照条件(明亮、黄昏、黑暗)下同步拍摄鲫鱼所构建的数据集,共3000张原始图像,并进行了数据增强。
材料与方法
- •
相机设计与成像原理:研究团队自主组装了包含CMOS图像传感器和NPU系统级芯片的低光枪式相机。其核心贡献在于为NPU设计的水下图像清晰化优化算法。该算法构建了一个水下图像清晰化网络,输入模糊图像X,输出增强图像Xs。网络采用多尺度特征提取与融合架构,底层特征经上采样与中层特征通过选择性核特征融合(SKFF)模块自适应结合,再进一步与高层特征融合,最终通过卷积和Tanh激活函数输出清晰图像。模型训练使用混合损失函数L = L1+ λL2,其中L1为结构相似性(SSIM)损失,L2为基于VGG-19特征提取的对比损失,以确保图像在结构和对比度上均得到优化。对比实验表明,该方法在PSNR、SSIM等指标上优于Fusion和WaterNet等方法。
- •
实验数据收集与讨论:在暗房实验场景中,同步使用自研低光相机、红外相机和佳能单反拍摄水箱中的鲫鱼。结果显示,红外相机因水体吸收无法成像;佳能相机在明亮环境下正常,在黑暗环境下失效;而自研低光相机在明亮、黄昏、黑暗环境下均能可靠成像。这表明搭载了优化算法的低光相机能在黑暗环境下更清晰地进行养殖监控。基于拍摄视频构建了包含3000张原始图像的数据集,并按相机类型和光照强度分为6类,每类500张,并通过数据增强扩至12000张样本用于模型训练。
整体流程
研究提出了一套快速的鱼类检测与分割框架,包含两个核心组件:
- •
自动化标注模块:基于Segment Anything Model (SAM)。SAM包含图像编码器(基于MAE预训练的ViT)、提示编码器(处理点、框、文本等提示)和掩码解码器。通过输入图像和文本提示,自动输出可能的目标掩码。研究将SAM生成的掩码与人工精细标注进行对比,结果显示高度一致,证实了利用其进行自动标注以训练轻量鱼分割模型的可靠性。
- •
建模模块:基于YOLOv8进行知识蒸馏。YOLOv8架构包含用于特征提取的CSP主干网络、用于特征增强的颈部网络以及用于检测任务的头部网络。通过从SAM大模型蒸馏分割知识,使轻量模型能够实现实时推理速度,并通过注意力机制和增强的特征融合模块提升了对鱼类轮廓和小目标的识别能力。
结果与讨论
- •
实验结果与讨论:轻量模型在测试集上推理速度达到66 FPS。训练过程中的损失曲线显示,边界框损失、分割损失、分类损失等均呈下降并稳定趋势,表明模型训练良好。预测结果显示,模型能有效框出所有鱼体并生成高质量的分割掩码,虽然部分边界框因自动掩码的离散点而过大致,但这并未影响分割掩码的质量。
- •
定量性能分析:通过在三种相机(红外、可见光、低光自适应)和三种光照条件(明亮、黄昏、黑暗)下分别训练和评估轻量分割模型,得出关键结论:1. 红外相机因水体吸收完全无效;2. 传统可见光相机在黑暗环境中无法成像,不适用于夜间监测;3. 可见光相机在明亮条件下精度高,随光照减弱性能下降,在黑暗中完全无法识别;4. 低光自适应相机在不同光照条件下均表现稳健,在明亮、黄昏、黑暗环境下均保持高检测与分割精度,且性能随光照下降仅有轻微衰减,在所有场景下均优于其他成像系统。
结论与未来工作
为应对水产养殖夜间成像无效和标注过程费时费力的挑战,本研究设计了一套集成低光自适应相机和鱼类检测分割知识蒸馏框架的解决方案。该系统利用部署在相机NPU上的自适应清晰化算法,在所有光照条件下实现了清晰的水下成像。同时,利用基于大分割模型的知识蒸馏框架,无需掩码标注即可快速建立具有精确分割性能的轻量化鱼类分割模型。对比实验验证了低光自适应相机和快速建模框架的有效性和准确性。这表明该研究对推动水产养殖自动化水平具有重要意义。
未来工作将侧重于改进自研低光相机和智能模型快速构建机制的性能,以更好地适应养殖物种的生物多样性和养殖条件的复杂性,并需在真实生产环境中进一步测试验证。