移动机器人中的障碍物规避:一种基于CNN的RGB和深度图像CMYD融合方法

《Digital》:Obstacle Avoidance in Mobile Robotics: A CNN-Based Approach Using CMYD Fusion of RGB and Depth Images Chaymae El Mechal, Mostefa Mesbah and Najiba El Amrani El Idrissi

【字体: 大 中 小 】 时间:2026年03月06日 来源:Digital CS4.8

编辑推荐:

  在过去的几年中,深度神经网络(deep neural networks,DNN)在计算机视觉领域取得了显著成果,并被广泛集成到移动机器人障碍物规避系统中,其中感知驱动的分类支持导航决策。大多数现有方法依赖彩色图像(RGB)或深度图像(depth)作为主要信息来

  
在过去的几年中,深度神经网络(deep neural networks,DNN)在计算机视觉领域取得了显著成果,并被广泛集成到移动机器人障碍物规避系统中,其中感知驱动的分类支持导航决策。大多数现有方法依赖彩色图像(RGB)或深度图像(depth)作为主要信息来源,这限制了它们联合利用外观和几何线索的能力。本文提出一种基于深度学习的分类方法,同时利用RGB和深度信息进行移动机器人障碍物规避。该方法采用早期融合策略,首先将RGB图像转换为CMYK颜色空间,然后用归一化深度图替换K(黑色)通道,形成四通道CMYD表示。这种表示在保留色彩信息的同时,通过强度一致的通道嵌入几何结构,并作为卷积神经网络(convolutional neural network,CNN)的输入。研究人员使用本地获取的数据,在不同训练选项和超参数设置下评估所提方法。实验结果表明,当使用基线CNN架构时,所提融合策略的整体分类准确率达到93.3%,优于仅深度输入(86.5%)和仅RGB图像(92.9%)。当采用改进CNN架构时,所有测试输入表示的分类准确率进一步提升,RGB图像达到约93.9%,仅深度输入达到91.0%,CMYK颜色空间达到94.6%,所提CMYD融合达到96.2%。这些结果表明,无论网络变体如何,通过CMYD融合结合外观和深度信息是有益的,而改进CNN架构进一步增强了融合表示在鲁棒障碍物规避中的有效性。
## 论文解读:基于CMYD融合的移动机器人障碍物规避方法

### 研究背景与问题

移动机器人在未知或动态环境中的自主导航依赖于可靠的障碍物检测与规避能力。近年来,深度神经网络(deep neural networks,DNN)在计算机视觉领域取得突破性进展,并被广泛集成到移动机器人感知系统中,通过感知驱动的分类支持导航决策。现有障碍物规避方法大多单独使用彩色图像(RGB)或深度图像(depth)作为主要信息来源,但RGB图像仅提供外观信息(如颜色、纹理),而深度图像仅提供几何结构信息(如物体距离)。这种单模态输入限制了系统联合利用外观和几何线索的能力,导致在复杂环境中(如光照变化、纹理缺失、遮挡条件下)的鲁棒性不足。

### 研究目的与意义

为了解决上述问题,研究人员提出一种基于深度学习的分类方法,同时利用RGB和深度信息进行移动机器人障碍物规避。核心创新在于设计了一种早期融合策略——CMYD融合,通过将深度信息嵌入CMYK颜色空间的K通道,形成四通道表示,实现了外观与几何信息的语义一致融合。该研究在《Digital》上发表,为移动机器人感知提供了有效且可扩展的解决方案,其重要意义在于:首先,CMYD融合策略简单且可直接利用现有基于RGB的CNN架构,无需修改;其次,结合改进CNN架构,分类准确率显著提升,验证了表示级融合与架构级优化的互补作用。

### 主要关键技术方法

研究人员采用以下关键技术:(1)**CMYK颜色空间转换**:将归一化RGB图像通过标准转换公式(式(3)–(7))转换为CMYK颜色空间;(2)**CMYD融合**:用归一化深度图替换CMYK中的K(黑色)通道,得到四通道CMYD表示,保留C、M、Y色彩信息的同时嵌入几何线索;(3)**基线CNN与改进CNN架构**:基线CNN为常规二维CNN;改进CNN引入多尺度卷积(不同尺寸卷积核并行提取局部与全局特征)和基于注意力的特征细化机制(动态调整特征通道权重),并延迟池化操作以保留空间信息;(4)**数据采集**:数据来源于TurtleBot 2平台(搭载Kinect传感器和惯性测量单元(inertial measurement unit,IMU)),在室内环境中采集同步RGB与深度图像,依据IMU角度将图像分为5类导航指令。数据集包含训练和测试子集,每类图像分布如Table 3所示。

### 研究结果

#### 4.1 数据集准备与预处理
研究人员使用TurtleBot平台采集室内环境RGB和深度图像,经处理后调整为160×120像素,并根据IMU角度分为5类:“直行”、“半左转”、“全左转”、“半右转”、“全右转”(Table 2)。数据集划分如Table 3所示。

#### 4.2 颜色空间转换:RGB→CMYK→CMYD(四通道)
研究人员设计了两阶段预处理框架:第一阶段将RGB转换为CMYK;第二阶段用归一化深度图替换K通道生成CMYD表示。这一融合在保持色彩信息的同时嵌入几何结构。

#### 4.3.1 CMYD融合结果(使用基线CNN)
在基线CNN架构下,通过混淆矩阵(Table 4–7)评估不同输入表示的分类性能。结果显示:CMYD融合的总体准确率为93.3%,高于RGB(92.9%)、CMYK(90.4%)和深度图像(86.5%)。说明性能提升源于融合策略本身,而非架构修改。

#### 4.3.2 CMYD融合结果(使用改进CNN)
在改进CNN架构下(Table 8–11),所有输入表示的准确率均提升:RGB达93.9%,深度图像达91.0%,CMYK达94.6%,CMYD融合达96.2%。改进CNN通过多尺度卷积和注意力细化机制,进一步提升了融合表示的特征学习能力。

#### 4.4 讨论
分类错误主要发生在相邻导航类别之间,这符合机器人转向指令的连续性特征。CMYD融合的有效性源于将深度信息嵌入强度相关的K通道,实现语义一致的融合。改进CNN通过多尺度分析和注意力机制增强了判别性特征提取,延迟池化策略保留了空间信息。

#### 4.5 与其他RGB-D融合方法的比较
与文献中的MDSICNN、MMSS、MMFLAN等方法相比,所提CMYD融合在基线CNN下即达到93.3–93.9%准确率,结合改进CNN后达96.2%,优势明显。这归因于融合设计的语义一致性以及架构优化对特征提取的增强。

#### 讨论与结论
总体而言,实验结果表明表示级融合(CMYD)与架构级优化(改进CNN)具有互补作用。CMYD融合通过嵌入深度信息丰富了输入表示,改进CNN通过多尺度和注意力机制有效提取与利用了这些信息。两者结合实现了最高的分类准确率(96.2%),验证了该框架在移动机器人鲁棒障碍物规避中的有效性。

### 研究结论
本文提出了一种面向移动机器人障碍物规避的视觉分类框架,联合利用外观(RGB)和几何(深度)信息。与依赖于简单通道堆叠或后期决策融合的传统RGB-D方法不同,研究人员引入了一种基于颜色空间修改的新型早期融合策略。具体而言,RGB图像首先转换为CMYK颜色空间,然后用归一化深度图替换K(黑色)通道,形成四通道CMYD表示。将深度信息嵌入强度相关通道能够在保留剩余通道色彩线索的同时实现语义一致的融合。研究人员使用TurtleBot平台(配备Kinect传感器和IMU)采集的本地数据集进行了广泛实验,导航指令被分类为五类运动类别。结果表明,所提CMYD融合始终优于仅RGB、仅深度和基于CMYK的输入。使用基线CNN架构时,CMYD表示的整体分类准确率达到93.3%,而RGB为92.9%,仅深度输入为86.5%。当使用改进CNN架构评估时,所有输入模态的性能均提升,所提CMYD表示达到最高准确率96.2%。这证实了性能提升源于融合策略本身,并进一步通过架构优化得到增强。本工作的原创性体现在两个互补贡献:首先,通过将归一化深度信息嵌入CMYK颜色空间的强度相关K通道,引入了一种新颖的RGB-D融合机制,得到CMYD表示,相较于传统RGB-D堆叠提供了更合理的外观与几何线索整合;其次,提出了一种结合多尺度卷积分析和基于注意力特征细化的改进CNN架构,能够更有效地提取导航相关特征,减少相邻运动类别间的混淆。因此,观察到的改进并非单纯参数调整的结果,而是源于任务导向的融合设计以及增强的层内特征学习。总体而言,实验结果表明表示级融合(CMYD)与架构级优化(改进CNN)在实现鲁棒且准确的障碍物规避中发挥互补作用。所提框架为移动机器人中的RGB-D感知建立了一种有效且可扩展的解决方案。未来工作将探索将CMYD融合策略扩展到其他颜色空间,评估其在更复杂动态环境中的性能,并集成更先进的注意力机制以进一步提高适应性和泛化能力。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号