《Neurocomputing》:Bioinspired extraction of relative nearness map from expanding optic flow for collision avoidance
编辑推荐:
感知环境的深度结构对视觉引导的导航至关重要。长期以来,人们认识到飞行昆虫依赖平移光流(translational optic flow)获取相对邻近度图(relative nearness map),该图度量了它们与静态障碍物发生碰撞的紧急程度。然而,其背后的
感知环境的深度结构对视觉引导的导航至关重要。长期以来,人们认识到飞行昆虫依赖平移光流(translational optic flow)获取相对邻近度图(relative nearness map),该图度量了它们与静态障碍物发生碰撞的紧急程度。然而,其背后的算法机制仍不清楚,因为在光流中,该图与需要相对于自我运动方向实时测量的视角角相纠缠。此外,基于生物运动检测器测量光流的高度不准确性也带来了进一步的困难。在此,研究人员提出了一个网络模型,该模型仅基于前向自我运动期间经历的波动光流,实现了三维场景结构深度排序的二维图估计。该模型在真实世界视频序列验证时表现出有效性和鲁棒性。进一步的模拟表明,该模型使虚拟机器人能够在杂乱环境中避免碰撞,即使视野狭窄。除了加深对昆虫深度感知机制的理解外,该模型还推动了基于光流导航的低复杂度和高能效仿生算法的发展。
## 研究背景与问题
飞行昆虫主要依靠光流进行深度感知(depth perception)。环境深度结构信息包含在平移光流而非旋转光流中。当昆虫处于平移自我运动中需要改变航向时,它们会急剧增加转弯速度,从而主动将旋转光流压缩到短暂的时间窗口内。这种所谓的扫视策略(saccadic strategy)使昆虫能够在大部分飞行时间内感知平移光流,其飞行轨迹因此被分割为快速扫视和延长的扫视间期。在扫视之间,凝视方向保持基本稳定,确保基于平移光流的相对邻近度估计尽可能不受影响。
"相对邻近度"指的是平移自我运动速度与周围物体距离之比,与普通邻近度(即与周围物体距离的倒数)相比,相对邻近度度量的是智能体速度加权的碰撞紧急程度,因此是一种简洁高效的深度结构度量。然而,从光流中提取相对邻近度具有挑战性,因为邻近度结构与二维角因子(angle factor)相纠缠,该角因子由智能体的自我运动方向和观看方向决定。这一挑战解释了为何以往几乎所有研究仅关注垂直于着陆表面的垂直平面或赤道平面内对比点的相对邻近度估计。文献中的唯一例外是Bertrand等人提出的模型,该模型从角因子中解耦二维相对邻近度图,但需要球形眼睛作为关键条件。此外,该模型在非前额视野部分而非重要的运动方向上表现最佳,这与飞行昆虫主要使用前额视野进行飞行控制的事实相矛盾。更重要的是,光流本身无法由生物视觉的运动检测器现有模型(如基于相关性的基本运动检测器(EMDs))准确估计,因此昆虫视觉系统如何解决基于光流的相对邻近度估计问题仍不清楚。
## 研究目的与主要贡献
本研究旨在解决以下核心问题:环境深度结构图能否仅基于由前额视野中EMDs测量的光流来提取。研究人员提出了一个反直觉的工作假设:角度因子被编码在神经回路(神经网络)回路中并与已知的航向(即扩展焦点(滚烫)FOE)对齐;扩展光流需要被校正,否则邻近度估计将失败。基于此假设,研究人员开发了一个昆虫启发的网络模型,实现了基于EMD的前额视野二维相对邻近度图估计,并通过KITTI数据集和虚拟机器人模拟验证了其鲁棒性和有效性。
## 关键技术方法
研究采用模拟与验证相结合的方法体系,样本队列来源包括:自动驾驶KITTI数据集的真实世界视频序列(左灰度相机采集,覆盖90°×35°视野)以及基于CoppeliaSim构建的虚拟机器人环境。模型核心为三层级联的虫部网络:第一层"视觉运动测量"模块模拟运动检测器,采用对比度表示经高通滤波和对比度适应后输入EMD阵列;第二层"光流校正"模块通过角因子平方形式的包络因子恢复流场的径向扩展特征,并辅以基于对比度的除法抑制消除局部对比度影响;第三层"相对邻近度估计"模块模拟小叶板(LP)神经元,通过整合加权光流的空间和时间信息编码相对邻近度。模型采用积分-非发放动力学描述LP神经元膜电位变化,使用Spearman's rho、Kendall's tau、SILog和序数误差四种指标评估性能。
## 研究结果
**4.1 工作假设与基于EMD的网络模型**
研究人员提出角度因子在神经回路中编码并与FOE对齐的工作假设,指出校正光流对于解决相对邻近度估计至关重要。模型分为视觉运动测量、光流校正和相对邻近度估计三个模块。光流校正包括两个方面:一是通过包络因子(假设为角因子的平方)恢复流场的径向扩展特征;二是应用基于对比度的除法抑制消除对比度效应。校正后的光流按角因子倒数加权后,由LP神经元单元时空整合编码相对邻近度。数学推导表明,光流校正和已知角度因子可整合为单个步骤:直接用角度因子本身对光流进行加权。
**4.2 应用于前向移动虚拟机器人的模型分析**
为验证光流校正的效果,研究人员在配备90°×60°视野视觉传感器的Pioneer P3-DX虚拟机器人上进行测试。七个圆柱障碍物组成等腰三角形布局,机器人以1 m/sec速度前进。结果表明,包络因子确为角因子的平方时校正效果最优(n=2时Spearman's rho最高且流量幅度适中)。对比度基础除法抑制进一步提升了校正值与真值的相似度(Spearman's rho和Kendall's tau均提高)。从stage 4到stage 6,各评估指标持续改善,但stage 5至stage 6的边际改善表明LP模块的空间整合必要而时间整合可省略。消融实验显示包络因子和对比度抑制均发挥重要作用,其中对比度抑制的贡献大于包络因子。
**4.3 KITTI数据集测试**
在39段不含独立运动物体的KITTI序列上测试表明,从stage 1到stage 6,Spearman's rho和Kendall's tau显著提高,SILog相应降低,验证了模型面对自然场景变化时的鲁棒性和有效性。与虚拟环境不同,KITTI序列中包络因子而非对比度抑制最为关键,这可能由于场景深度范围更大(2.1-89.3 m)且远景区域应属FOE但stage 1信号未显著显示FOE特征。与计算机视觉单目深度 reader官方Models的零样本跨数据集转移比较中,模型序数误差为29.46%,虽不及大多深度学习模型,但作为无需训练的轻量级仿生模型展现出竞争潜力。
**4.4 模型鲁棒性分析**
围绕FOE的小中央区域评估显示,当障碍物从远处接近时rho持续增加,仅当障碍物充满中央区域时才开始下降,证明只要小区域能分辨接近物体模型即有效。角度因子偏离FOE的模拟表明,性能随偏离增大而逐渐下降而非突变(同时偏离2°时Spearman's rho下降10%,8°时降至0.16),验证了模型对小偏离的鲁棒性。参数敏感性分析显示,除高斯核F1的尺寸和标准差外,对比度适应和LP整合参数的变化对性能影响显著,模型在合理参数范围内保持稳定。
**4.5 基于相对邻近度图的碰撞避免**
将三维相对邻近度图沿仰角平均为一维,提出基于视觉区域的分层危险评估策略:视野分为1/1'和2/2'两对对称区域,阈值满足T
1/1' < T
2/2'。若同时满足1+2'、1+1'或2+1'组合,触发90°扫视;若仅满足1或1',触发40°扫视;若仅满足2或2',触发10°扫视。在EA、EB、EC三种纹理环境(12.6×12.6 m,障碍物0-100个)中测试表明,机器人能在大多数EA和EB环境中良好避障,EC环境性能随障碍物密度显著下降。成功率随纹理密度增加而增加、随障碍物密度增加而降低。在密集障碍物(n=100)环境中,机器人仍能寻找并通过较宽间隙。走廊和间隙测试显示机器人倾向于保持与墙壁的安全距离,尽可能在走廊或间隙中间行驶。自然场景纹理替换测试表现出与随机棋盘纹理相似的避障性能。
**4.6 目标位置导航**
将避障策略与目标导向结合,优先避障后校正相对于目标方向的偏差角γ。在16.0×24.0 m环境中测试表明,EA和EB环境中机器人能以高成功率到达目标,无论障碍物随机或均匀分布;EC环境成功率则大幅下降,显示模型对输入纹理的依赖性,尤其在任务复杂度随目标增加时。
## 讨论与结论
**神经底质讨论**
模型假设LP回路(下游于T4和T5细胞)参与相对邻近度估计,与当前对LP的理解一致,即包含小叶板柱状细胞(LPC)和小叶板-小叶柱状细胞(LPLC)等视觉投射神经元。细胞证据支持自我运动方向对昆虫视觉系统可用,但角度因子是否实时从感觉线索和运动命令的传出副本动态估计尚无直接证据。模型预测角度因子编码于神经回路中,其激活和与FOE的对齐仅需FOE感知,这可大大简化神经实现。
**FOE邻近估计**
模型在FOE周围性能最弱,但在前向移动机器人中不构成实际问题,因障碍物非抽象点,当FOE位于障碍物上时,障碍物其他部分提供充足检测线索。蜜蜂扫视间飞行常伴随轻微垂直或横向速度分量,频繁轻微的凝视方向变化可使相关物体移离先前FOE,为未来改进模型提供了策略启示。
**与仿生避障策略的比较**
现有仿生策略多通过计算流场散度、加权平均光流向量或多方向光流积分评估碰撞危险,均未构建视觉区域依赖的相对邻近度图。Bertrand等人的模型虽能实现二维相对邻近度图估计,但在非前额视野最有效,且未考虑机器人尺寸、采用更高采样率和更慢速度。本模型在更复杂环境中验证,使用具有实际尺寸的机器人,以100 Hz更低采样率和1 m/sec更快移动速度运行。
**运动物体的局限性**
模型在独立运动物体存在时失效,因物体在视网膜上的运动污染了光流。理论上可通过检测并移除运动物体恢复模型,但实际中自由移动相机仅凭相对运动线索检测独立运动物体仍具挑战性。
**研究结论**
仿生网络模型提出,已知角度因子与校正光流的乘法组合是从扩展光流中提取三维场景结构深度排序的关键。角度因子预测编码于神经回路中,并由FOE感知激活。光流校正包括全局层面(恢复流场径向扩展特征,对深度范围大的自然场景更重要)和局部层面(消除局部对比度影响,对高对比度环境更重要)。这一乘法操作虽与光流方程中相对邻近度为光流除以 denominated 角因子的直观理解相悖,但源于使用波动且需校正的生物视觉运动检测器测量光流与几何光流的本质区别。模型的有效性和鲁棒性在真实世界视频序列相对邻近度估计任务和杂乱环境虚拟机器人避障任务中得到验证,为解析深度感知神经机制提供了新视角,并为开发低复杂度、高能效的视觉引导导航脑启发算法提供了洞见。研究成果发表于《Neurocomputing》。