《Nano Energy》:A Flexible Ionic Gel Electrode-Enabled TENG–EMG Proximity–Tactile Sensor for Vision-Free Robotic Grasping and Object Recognition
编辑推荐:
•FIE将1.16 × 10?? S cm?1的离子电导率与1074.49%的断裂应变相结合。•FIE-TENG实现了非接触式物体检测和运动方向感知。•U形磁通引导结构将EMG触觉信噪比提升至30.3?dB。•TEPS将规则物体的抓取成功率提升至93.5%,实际物体的抓取成功
- •
FIE将1.16 × 10?? S cm?1的离子电导率与1074.49%的断裂应变相结合。
- •
FIE-TENG实现了非接触式物体检测和运动方向感知。
- •
U形磁通引导结构将EMG触觉信噪比提升至30.3?dB。
- •
TEPS将规则物体的抓取成功率提升至93.5%,实际物体的抓取成功率为92.0%。
- •
双表征卷积神经网络实现了99.4%的材料识别率和98.0%的形状识别率。
引言
机器人手和夹爪正成为智能制造、物流分拣、医疗辅助、家庭服务、危险环境操作以及水下和野外勘探等领域不可或缺的末端执行器[1]、[2]、[3]、[4]。在这些场景中,机器人不再仅仅需要在结构化空间内执行预设的运动;相反,它们必须与位置、材质、形状和表面状态往往未知的物体进行交互[2]、[3]、[5]。这一转变使得夹爪级别的局部感知变得日益重要。光学和基于视觉的传感为物体定位、抓取规划和场景理解提供了丰富的全局信息[5]、[6]、[7]。然而,视觉在近距操作中仍受到局限,包括夹爪自身遮挡、光照不足、反射或透明物体、指尖盲区,以及无法直接评估接触状态或材料特性[3]、[8]、[9]、[10]。因此,近距感知,特别是与触觉反馈相结合的近距感知,已成为机器人在非结构化环境中操作的重要能力[8]、[9]、[10]。
近期的研究已证实了将接触前感知和接触感知相结合用于机器人交互的可行性[11]、[12]、[13]。Liu等人开发了一种集成摩擦电和液态金属传感器的柔性双模态智能皮肤,实现了触觉/非接触式判别和软机器人的非接触交互式教学[14]。Yin等人报道了一种通过选择性透射软膜集成RGB相机、气压触觉传感器和红外飞行时间模块的多模态近距和视觉触觉传感器,演示了接近/接触、捕捉和投掷任务[15]。Mu等人提出了一种受鸭嘴兽启发的机电感官手指,协同摩擦电和视觉触觉感知用于远程控制、触觉感知和深度学习辅助的材料分类[16]。这些代表性工作证实了近距—触觉感知可以补充视觉并丰富机器人交互。相应地,无视觉感知可以作为当视觉信息退化或不可用时的互补局部感知途径,而非视觉的替代品[17]、[18]。然而,许多现有的近距—触觉系统依赖多个传感模块、光学元件或独立配置的硬件,增加了系统复杂性并阻碍了在夹爪级别的微型化和紧凑集成。此外,将紧凑的双模态传感信号用于无视觉抓取辅助和物体识别仍缺乏充分探索[19]。实际的机器人感知还需要在重复交互过程中对环境变化和工况变化的稳定操作能力。
摩擦电纳米发电机(TENGs)由于具有主动传感能力、简单结构、广泛的材料兼容性和对静电场变化的高灵敏度,为机器人近距感知提供了一条有前景的途径[20]、[21]、[22]。在单电极TENG构型中,接近的物体可以调制传感面周围的电场并在无物理接触的情况下诱导电荷重新分布[23]、[24],从而能够在碰撞前检测物体接近、运动方向和相对位置。近距TENG传感的最新进展表明,介电设计、电荷管理策略和表面工程可以改善静电耦合、电荷保持和无接触传感性能[25]。然而,TENG近距传感仍然对电极特性、电荷行为、机械形变以及温度、湿度等环境条件敏感[26]、[27]、[28]。为满足这些要求,采用了柔性离子凝胶电极(FIE)将机械顺应性、离子传导和共形集成结合在TENG近距传感结构中。与刚性电子导体相比,FIE能够更好地适应形变并共形于传感架构,同时其离子电导率、电化学行为、机械性能和储存稳定性支持基于TENG的重复近距传感。
尽管基于TENG的近距感知提供了有价值的接触前信息,但它不能完全替代物理交互后的触觉反馈[12]。一旦夹爪到达物体,机器人必须确定是否已发生接触以及交互是否保持机械稳定。基于磁—线圈相对运动和磁通变化的电磁发电机(EMG)非常适合动态触觉传感,因为它们可以对按压、释放、冲击和振动产生电流信号响应[29]、[30]、[31]、[32]。它们在动态机械刺激下的鲁棒性和可重复性进一步支持了它们在机器人抓取过程中用于接触状态反馈的应用[33]、[34]。磁通引导提供了有效加强磁—线圈耦合并增强触觉输出的手段。同时,可靠的基于EMG的触觉传感必须在磁场、温度和机械变化的条件下保持稳定。因此,将EMG触觉单元与TENG近距单元集成可以建立互补的感知链,其中TENG通道在接触前感知物体,而EMG通道确认接触并提供触觉状态反馈。除了传感性能之外,近距—触觉系统的实用性还取决于所获取的信息是否能够支持对不同几何形状、表面特性和材料特性的物体进行可靠交互。抓取鲁棒性可能受局部曲率、接触几何、结构刚度和机械约束的影响,而当不同材料或形状类别产生部分重叠的传感响应时,基于学习的识别变得更加困难。因此,一种能够同时支持鲁棒抓取和多模态物体识别的紧凑传感架构是非常值得追求的。
在此,我们提出了一种基于柔性离子凝胶电极的TENG–EMG近距—触觉传感器(TEPS),用于无视觉机器人抓取和物体识别。如图1所示,TEPS建立了一个从材料设计和局部感知扩展到机器人交互和智能识别的连续感知框架。首先,基于FIE的TENG近距单元实现了非接触物体检测、动态运动传感和方向感知,同时系统评估了其环境稳定性和循环稳定性。其次,EMG触觉单元采用U形磁通引导以增强磁—线圈耦合和接触诱导电流输出,并表征了其对外部磁干扰、温度变化、按压位移和按压持续时间的适应性。第三,互补的近距和触觉信号被集成到机器人夹爪中以支持无视觉扫描、目标对齐、接触判定和半闭环抓取,并使用规则几何形状和具有多样形状和表面特性的实际物体评估其鲁棒性。最后,传感信号与双表征卷积神经网络(CNN)结合用于八类材料和七类形状的识别。总体而言,TEPS建立了一个紧凑且可解释的近距—触觉感知框架,整合了接触前检测、接触反馈、抓取辅助和智能识别,适用于视觉受限和非结构化的机器人环境。
章节摘要
FIE的制备与性能
柔性离子凝胶电极(FIE)通过一步紫外光引发的自由基聚合制备而成,单体包括羟乙基丙烯酸酯(HEA)、2-甲氧基乙基丙烯酸酯(MEA)以及离子液体[EMIM][TFSI],如图2a所示。HEA提供能够参与氢键的羟基,MEA引入含醚的柔性链段以促进聚合物链运动性和离子迁移,[EMIM][TFSI]提供可移动的EMIM?阳离子和TFSI?阴离子用于离子
无视觉机器人抓取
图5a展示了TEPS集成到机器人夹爪中的方式,其中TENG单元作为近距感知通道,EMG单元作为触觉感知通道。图5b展示了信号采集和控制系统。TENG和EMG信号经放大、滤波后通过ADC采样由Arduino采集,处理后的信号提供反馈线索,通过PWM输出驱动水平旋转、升降和夹爪舵机。图5c展示了传感辅助的
结论
总之,我们开发了一种柔性离子凝胶电极赋能的TENG–EMG近距—触觉传感器(TEPS),用于机器人感知、无视觉抓取和物体识别。FIE通过丙烯酰胺单体和[EMIM][TFSI]的紫外引发聚合制备而成,形成了由多种非共价相互作用支撑的柔性聚合物—离子网络。光谱表征提供了与所提出的氢键、离子—偶极和
CRediT作者贡献声明
XU MINYI:写作—审阅与编辑、监督、资源、方法论、资金获取、形式化分析。Liguo Song:写作—审阅与编辑、可视化、验证、监督、资源、方法论、资金获取。Yuchen Li:写作—初稿撰写、可视化、验证、数据整理。Peng Xu:写作—审阅与编辑、监督、项目管理、方法论、资金获取、数据整理。Hongyu Wang:写作—审阅与编辑、可视化,
利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系可能会影响本文所报告的工作。
致谢
本工作部分得到了国家自然科学基金委[52401399, 52371345, 52571401];以及青年 faculty 科研创新能力支持项目(ZYGXQNJSKYCXNLZCXM-O1P)的支持。
利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系可能会影响本文所报告的工作。
Yuanzheng Li正在中国大连海事大学攻读博士学位。他目前的研究兴趣是基于摩擦电纳米发电机的水下触觉传感器。
Yuanzheng Li|Bingxu Tao|Hongyu Wang|Peng Xu|Weichao He|Jianhua Liu|Hao Jin|Yuchen Li|Liguo Song|Minyi Xu