《Digital》:A Comprehensive Study of Artificial Intelligence in Preserving and Advancing Asia Minor’s Heritage
Nikos Koutsoupias,
Aristidis Bitzenis and
Marios Nosios
编辑推荐:
在过去的几年中,深度神经网络(deep neural networks, DNN)在计算机视觉领域取得了卓越成果,并已被广泛集成到移动机器人避障系统中,其中感知驱动的分类支持导航决策。大多数现有方法依赖于彩色图像(RGB)或深度图像(D)作为主要信息来源,这限
在过去的几年中,深度神经网络(deep neural networks, DNN)在计算机视觉领域取得了卓越成果,并已被广泛集成到移动机器人避障系统中,其中感知驱动的分类支持导航决策。大多数现有方法依赖于彩色图像(RGB)或深度图像(D)作为主要信息来源,这限制了它们共同利用外观和几何线索的能力。本文提出了一种基于深度学习的分类方法,同时利用RGB和深度信息进行移动机器人避障。该方法采用早期融合策略,首先将RGB图像转换为CMYK色彩空间,然后将K(黑色)通道替换为归一化深度图,形成四通道CMYD表示。这种表示保留了色彩信息,同时将几何结构嵌入到强度一致的通道中,并作为卷积神经网络(convolutional neural network, CNN)的输入。使用本地采集的数据在不同训练选项和超参数设置下对所提方法进行了评估。实验结果表明,当使用基线CNN架构时,所提融合策略实现了93.3%的整体分类准确率,优于仅深度输入(86.5%)和仅RGB图像(92.9%)。当采用改进的CNN架构时,所有测试输入表示的分类准确率均进一步提高,RGB图像达到约93.9%,仅深度输入达到91.0%,CMYK色彩空间达到94.6%,所提CMYD融合达到96.2%。这些结果表明,通过CMYD融合结合外观和深度信息无论网络变体如何都是有益的,而改进的CNN架构进一步增强了融合表示对鲁棒避障的有效性。
移动机器人避障是自主导航中的核心问题,传统方法通常仅依赖彩色图像(RGB)或深度图像(D)作为单一信息来源,这限制了系统同时利用外观和几何线索的能力。尽管RGB-D融合研究已取得进展,但现有方法多采用简单通道堆叠或后期决策融合,融合效率不高,且对深度信息的利用不充分。为此,研究人员提出了一种基于色彩空间修改的早期融合策略,旨在通过将深度信息嵌入CMYK色彩空间的强度通道,形成CMYD表示,以提升避障分类的鲁棒性和准确性。该研究在本地采集的室内数据集上验证了方法的有效性,并构建了改进的卷积神经网络(Convolutional Neural Network, CNN)架构,实现了最高96.2%的分类准确率,为移动机器人鲁棒避障提供了有效解决方案。
研究人员开展的主要研究包括:提出CMYD融合策略,将RGB图像转为CMYK色彩空间,并用归一化深度图替换K通道;设计基线CNN和改进CNN(集成多尺度卷积与注意力机制)两种架构;使用TurtleBot 2平台搭载Kinect传感器和惯性测量单元(Inertial Measurement Unit, IMU)在室内环境采集数据,将图像分为5类导航命令(直行、左半转、左全转、右半转、右全转)。实验结果表明,CMYD融合在基线CNN上达到93.3%准确率,优于RGB(92.9%)和深度(86.5%);改进CNN进一步提升至96.2%,验证了融合策略与架构优化的协同作用。
研究结果部分:
- **4.1 数据集准备与预处理**:使用TurtleBot 2平台在室内环境采集RGB和深度图像,处理后尺寸为160×120,根据IMU角度将数据分为5类,并划分为训练集和测试集,确保分类评估的可靠性。
- **4.2 色彩空间转换RGB→CMYK→CMYD(4通道)**:通过两阶段预处理,首先将RGB图像归一化后转换为CMYK色彩空间,然后将K通道替换为归一化深度图,形成CMYD表示,该表示保留了C、M、Y通道的色彩信息,同时将深度信息嵌入强度相关通道,实现了语义一致的融合。
- **4.3 CMYD融合分类结果**:
- **4.3.1 使用基线CNN的CMYD融合结果**:通过混淆矩阵比较,CMYD输入在基线CNN上取得93.3%准确率,高于RGB(92.9%)、CMYK(90.4%)和深度(86.5%),证明融合策略本身即带来性能提升。
- **4.3.2 使用改进CNN架构的CMYD融合结果**:改进CNN引入多尺度卷积和注意力机制,所有输入表示准确率均提升,CMYD达到96.2%,RGB为93.9%,深度为91.0%,CMYK为94.6%,表明改进架构进一步放大了CMYD融合的优势。
- **4.4 讨论**:基于混淆矩阵分析,CMYD融合在基线CNN中表现最佳,改进CNN通过多尺度分析和注意力机制增强了特征学习,延迟池化策略保留了空间信息,减少了相邻导航类别的混淆,整体性能显著提升。
- **4.5 与其他RGB-D融合方法的比较**:与文献中MDSICNN、MMSS、MMFLAN等方法相比,所提CMYD融合结合改进CNN达到96.2%准确率,在相关研究中具有竞争力,证明融合策略与架构优化互补。
讨论部分总结:CMYD融合策略通过将深度信息嵌入CMYK的K通道,实现了外观与几何信息的语义一致融合,而改进CNN架构通过多尺度卷积和注意力机制更有效地提取了导航相关特征,两者结合是性能提升的关键。研究结论部分翻译如下:本文提出了一种基于CMYD融合的视觉分类框架,用于移动机器人避障,联合利用RGB和深度信息。通过将深度嵌入CMYK的K通道,形成CMYD表示,实现了语义一致的融合。实验表明,CMYD融合在基线CNN上达到93.3%准确率,改进CNN下达到96.2%,优于单一模态输入。本工作的原创性体现在两个互补贡献:其一,提出了基于色彩空间修改的RGB-D融合机制(CMYD表示);其二,设计了集成多尺度卷积和注意力机制的改进CNN架构,提升了特征提取能力。未来工作将探索CMYD融合在其他色彩空间的应用,并在更复杂动态环境中评估性能。