电气学院智能决策与控制技术研究团队在具身智能感知与控制研究中取得新进展

发布者:蒋璐峥发布时间:2024-11-29浏览次数:10

电气学院智能决策与控制技术研究所成立于2019年,依托学校控制科学与工程一级学科,根据国家中长期发展规划、行业需求及未来科技发展趋势,研究定位于机器人智能决策与控制领域,目前专注于具身智能操控技术(感知与认知、决策、控制、执行)的理论与应用研究。近期,团队在具身智能感知与控制研究中取得新进展。

具身智能是指一种具有物理身体并能通过感知和交互与环境进行实时互动的智能系统,狭义上的具身智能体主要指机器人,广义可以扩展到人机混合体、航空器、航天器等各种智能体。这种智能系统不再局限于虚拟世界的数据处理和决策,而是能够类似人类一样在现实世界中感知、学习和行动。

仿生手臂的设计旨在模拟人类手臂的运动和功能,以实现高精度的机器人控制。仿生手臂的控制策略需要足够智能,以适应不同的操作任务和环境变化。近年来,基于手臂模型的控制规划取得了进展,但如何在复杂环境中实现仿生手臂的路径规划及控制仍然是一个难题。

针对这一问题,研究团队提出了一种基于人体上肢关节点引导的运动模仿和基于强化学习方法的运动规划算法,通过学习模仿人体上肢的运动姿态,达到仿生手臂完成仿人运动的目的。相关研究成果以“Motion planning for 7-degree-of-freedom bionic arm: Deep deterministic policy gradient algorithm based on imitation of human action”为题,发表在人工智能领域知名期刊《Engineering Applications of Artificial Intelligence》(IF 7.5,中国科学院二区,Top期刊)上。该研究成果以上海电机学院为第一单位,李保江老师为第一作者及通讯作者,在读硕士生邱圣杰为第二作者。

该算法从未标明的视频中分析和学习人体手臂运动特征的三维姿势,然后根据人体运动模式设计奖励函数,并使用基于深度确定性策略梯度(DDPG)的强化学习算法来训练仿生手臂的仿人运动。在仿真环境中通过多个任务评估了仿生手臂的有效性,结果表明该方法在规划仿生手臂的仿人运动方面具有良好的性能,可广泛应用于具身智能机器人控制领域。


论文链接:

https://www.sciencedirect.com/science/article/pii/S0952197624018311?via%3Dihub


大多数基于触觉的物体识别算法目前主要关注单一的形状或纹理识别。然而,这些基于单一属性的识别方法在处理具有相似形状或纹理特征的物体时表现不佳。针对形状和纹理属性的整合研究仍然较为有限,现有的特征融合机制往往依赖简单的连接方式,忽略了不同特征之间的交互作用。

为了解决这一问题,研究团队提出了一种新颖的基于注意力机制的融合网络——TSMFormer,该网络通过整合形状和纹理信息进行分类,并利用注意力机制的全局学习能力探索触觉图像中形状与纹理之间的交互关系。相关研究成果以“Object Recognition Using Shape and Texture Tactile Information: A Fusion Network Based on Data Augmentation and Attention Mechanism”为题,发表在在触觉领域知名期刊《IEEE Transactions on Haptics》(IF 2.4,中国科学院三区)上。该研究成果以上海电机学院为第一单位,在读硕士生王斌为第一作者,李保江老师为通讯作者。

鉴于Transformer网络在处理大规模数据集方面的优势,研究团队通过数据增强扩展了现有的触觉图像数据集。在此数据集上的大量对比实验表明,该网络在结合纹理和形状信息后的准确率显著提高至99.3%。与现有融合方法的比较进一步验证了提出的注意力融合机制的有效性。结果表明,TSMFormer通过注意力机制融合触觉图像中的纹理和形状信息,不仅具有重要的研究价值,同时在机器人抓取和工业环境中的自动质量检测等实际应用中也具有巨大潜力。



论文链接https://ieeexplore.ieee.org/document/10758781


人类依靠遍布周身的感知系统和大脑里的先验知识来感知、认知周围环境,机器人亦如此。目前在机器人被抓取对象感知方面的研究主要集中在视觉、触觉单模态或两者融合方法上,但在性能和数据集大小方面存在局限性。

对此,研究团队提出DT-Transformer网络:一个从触觉和文本数据中学习的新框架。通过多头关注机制实现了一种基于Transformer网络的专门融合机制,以解决这些不同信息类型融合的挑战。相关研究成果以“DT-Transformer: A Text-Tactile Fusion Network for Object Recognition”为题,发表在触觉领域知名期刊《IEEE Transactions on Haptics》(IF 2.4,中国科学院三区)上。该研究成果以上海电机学院为第一单位,在读硕士生邱圣杰为第一作者,李保江老师为通讯作者。

这种方法允许在特征级结合不同的模态,从而显著提高目标识别的准确性。该模型在两个公开的触觉数据集上分别实现了95.06%86.34%的准确率,优于现有的算法。这一算法不仅可以应用于触觉识别和灵巧手抓取操作,同时在具身智能多传感器多模态信息融合、大语言模型应用等方面有着巨大的应用潜力。



论文链接:https://ieeexplore.ieee.org/document/10767416