新闻中心

EEPW首页 > 设计应用 > “AI 触觉”使灵巧手及电子皮肤更敏感

“AI 触觉”使灵巧手及电子皮肤更敏感

—— 挑战柔软易碎品的拿捏递交等触控难题
作者:祝凯 时间:2025-05-25 来源:EEPW 收藏


本文引用地址:https://www.eepw.com.cn/article/202505/470794.htm

触觉是机器人感知世界的一种非常重要的方式。触觉传感器技术正不断进步,从传统的压阻式、压电式到如今的柔性触觉传感器、电子皮肤等,技术迭代速度不断加快。

其中,AI触觉传感器以及模型的构建对于提升机器人的交互能力和环境适应性至关重要。借助这些技术,他山科技已尝试让灵巧手抓取豆腐和薯片等柔性物品。

近日,公司市场与生态副总裁付宜晖在“2025中国人形机器人生态大会”上介绍了“AI触觉传感器及模型构建”。

1   第二大传感器市场——触觉

据VMR 的调研,2021年全球触觉传感器市场已超过112.5亿美元,2028年将达到260.8亿美元的市场容量。

值得一提的是,VRM当年做这个统计时,人形机器人市场还没有爆发。

实际上,人形机的灵巧手是其核心零部件之一,其中触觉又是灵巧手的核心能力之一,因此触觉举足轻重,或许会成为除了视觉以外的人形机器人的第二大感官,这无疑给触觉传感器赛道带来了一波新的动能。

目前这波人形机器人的增长浪潮主要得益于AI大模型的赋能,因为人形机器人刚好是具身智能的最佳载体,所以催化了人形机器人行业的崛起。

2   触觉的重要性

2024年网上很火的一个视频是斯坦福ALOHA团队做的家务灵巧手的抓取视频。然而,在实际抓取和执行任务中还有很多问题尚待解决。例如虽然有AI大模型的加持,但是当时更多的是通过视觉去解决触觉问题的。

失去触觉会怎样?人类有一种罕见病是丧失了触觉能力,这种患者抓取物品时,更多的是依赖视觉去做行为判断,因此抓取柔性物品时容易把柔性易碎的物品抓坏;同时为了有更多的容错,患者也会把手张得很大去抓取。

可见,无论对于人还是具身机器人,触觉感知都是非常重要的。

3   触觉感知的痛点

首先是高度适应性算法的缺失。触觉和视觉不同,视觉底层是基于相应的色度和亮度来组成数据的。触觉的数据是多维的,例如人去抓取物品的时候,先去判断是冷是热,是干性还是油性的,同时有相应的触觉、压觉、滑觉等一系列触觉维度,需要把这种多维触觉解析出来。另外还需要底层的硬件来做支撑。底层硬件是否能做到高精度的测量?同时能满足低延时、低功耗的需求?

再有,触觉是分布式的,就像人类全身都有触觉。对于机器人,目前至少灵巧手的5 个指尖有触觉,此外还有指腹及手掌,这时会涉及多个触觉传感单元之间的协同感知与协同控制。为什么这会成为一个重点或痛点?如果拿单独的一个触觉传感单元去摸,就会像盲人摸象一样片面。因此还要判断其冷热和材质等,即判断一系列物理量的变化。

4 整体触觉传感器的结构

遗憾的是,市面上还没有这种高度集成化、标准化的解决方案。

整体触觉传感器可拆分成几部分,首先是五指灵巧手的指尖,还希望能去做相应任务的执行,因此会涉及感知及控制一体的效果。核心原因是什么?就像人去抓一杯很烫的水,这时人为了保护自己,会下意识地松开手。对于机器触觉,也希望在边缘端解决这类问题。

除了指尖以外,还有指腹及手掌,因此会要求有一定的空间分辨力。因为在抓取物品的时候,人可能是通过手掌来更多地判断这个物品有没有碰到,或者碰到了哪个位置。

另外,机械臂(大小臂或大小腿)往往需要做防碰撞检测,以便在未来人机交互等场景下有安全性保证。对于躯干,在具身本体中会涉及人机交互及环境感知的能力,就会要求触觉传感器有较好的一致性,无论是单独触觉传感器的相应数据的一致性,还是不同批次传感器的一致性,这是保证底层数据可用、可去建立模型的基础,同时还有鲁棒性、稳定性及耐久力。

5   触觉是场景“泛化”的关键支撑

为什么现在触觉更重要?在最早的工业产线中,较少提到触觉的原因是由于工业产线中完成的更多的是既定目标,所有的任务目标、运动控制及相应的力都是提前预设好的。但是在具身或人形机器人方面,2024年业界提得最多的一个词是“泛化”,即如何在不同的应用中,能泛化地去做场景的闭环。

对于触觉系统,人们把触觉的执行分成了三个部分——抓取、移动和递交,来支撑不同场景的泛化能力的闭环。

●   抓取。在抓到物品时,可以把一系列的触觉维度信号去解析,例如接触觉、压觉、滑觉、温湿觉、力矩觉等,同时在这个过程中实现自适应力的抓取。这里有一个原则是施与目标物体最小的力,使其不产生滑动,就可以判断是把这个物品抓住了。

例如在抓豆腐时,灵巧手停顿了一下,是因为在这个过程中,灵巧手在判断这块豆腐有没有被抓牢?如果豆腐产生了滑动,这时灵巧手就去调整,以便抓得更紧一些,然后再去做下一步动作。这就是去实现自适应力抓取的过程。

●   移动。在移动和递交的过程中,例如去端一杯水,或者抓一个柔性的材质,在移动过程中,其重心或形态会时时发生变化。反推触觉传感器,就要求能对这种实时三维的力去做相应的感知。在这个过程中体现更多的是实时摩擦力的感知。

所以他山科技的解决方案是对法向力、切向力等做实时的感知,而并非是通过算法反推去实现的。因为通过算法反推,在一些场景下,相应的算法可能会失效。

首先动态抓取属于静摩擦力的一个场景。如果是基于一维力传感器,其实没有去做相应的运动轨迹和趋势的判断,所以感知不到静摩擦力的变化。例如在倒水过程中,如果基于触觉传感器来实现,可以通过自适应力调节去抓得更紧一些。

●   递交。在递交过程中,目前大部分人形机器人把物品扔或丢下,核心问题是因为触觉感知的缺乏。他山科技可以实现实时的对静摩擦力去做感知和判断。

在他山科技的演示图中,在人把物品放下的时候,由于桌面的支持力和静摩擦力会做相应的抵消,所以这个值上也会有瞬态的变化。这样就可以实现平稳地把物品放下,或者是在人机交互的场景中,可以把物品去递交给人。

他山科技在展会上还演示了直接去做物品的泛化抓取和递交的动作。

6   AI触觉专用芯片

在触觉赛道,他山科技有自研的底层芯片——已经开发完成首颗芯片——Ruby并流片。

与市面上常用的面向AI视觉去支撑AI相关的ANN算法不同,他山科技是面向AI 触觉去支撑SNN(脉冲神经网络)算法。因SNN 低延时、低功耗,更适用于异步架构的特性。

他山科技的底层芯片是一个数模混合的AI 触感芯片,有数字端相应的MCU,以及包括模拟端的高精度的信号链芯片。核心在于一个CDC,另外有数字、模拟双流的架构,可以去支撑分区、分级的SNN 的架构,并且基于双流可以实现级联,可以做到多个芯片以及触觉传感器的大规模部署。

他山科技的芯片出炉时,有专家评价是:是全球首款的数模混合AI触感芯片,也是第一款基于SNN的分布式类脑产业化应用芯片。

该芯片的核心——模拟芯片部分也做了与国际模拟芯片三大厂的对标,在核心指标中也有超越。

6.1 灵巧手于机械臂

●   接触类

在面向灵巧手的方向,他山科技提供了几种触觉传感器产品。有单点的触觉传感器,以及多点的、点阵的产品。

单点的基于立体结构,有更好的灵敏度及倾向力的感知。

多点是目前商用较多的形态,在实时三维力和切向力的感知基础上,可以很好地对位置和方向去做判断。点阵是针对一些客户对于位置或空间分辨率有诉求的场景,例如面向二指夹爪、三指夹爪、五指灵巧手等末端执行器的需求。

另外,他山科技也做到了多个触觉单元的协同感知,以便去做一定量的材质识别,或者提高抓取的成功率。

●   非接触类

他山科技也做了一些非接触的空间感知的训练。例如可以通过非接触来识别相应物体的材质,像塑料或玻璃这种视觉不太容易区分的材质做到了一定程度的有效区分。

在机械臂的场景中,人们更多在意的是人机交互的过程中的安全性防护。他山科技的方案可以实现非接触式的人体避障。

早期,该方案布设在了某一个关节,现在无论是机械臂的关节,还是整个机械臂,甚至机器人的本体上,他山科技都已经落地了一些应用,可以去提供7~10cm的非接触/ 防碰撞。

他山科技也做到了多层感知,即使隔着一本书,也能检测到后面是否有人手,从而去实现相应的人体避障。

6.2 本体/躯干

针对于机器人的本体/ 躯干方面,他山科技更多的是侧重大面积点阵的触觉传感器,来去提高人形机器人和人机交互过程中的应用。同时会基于柔性材料去适配一些本体需求。

6.3 模型

他山科技一直在做触觉相关的模型,整体上,它和视觉是非常不同的,有几个特点。首先,触觉的数据属于离散型,而视觉(诸如双目摄像头)的两个摄像头之间是有一定的相关性的,所以做模型时,会有一些相关性去做支撑。但是触觉不一样,是非常离散的——不同的触觉传感单元接触到一些位置的时候,其数据很难找到关联性。

其次,当人们通过柔性触觉传感器去抓一个物品时,属于柔性对柔性的过程。在采集数据时,会发现每次抓取时,底层的数据值都会发生变化,所以这无疑给模型带来了较大的挑战和难度。在这里,他山科技积累了50万+的针对不同目标物体抓取的数据库。

他山科技在2024年发表了一篇论文,提到基于不同的触觉传感器做了一系列的抓取测试,以及针对底层不同空间分辨率的触觉传感器做了一系列的实验室测试,最终的结论是相应的触觉传感器的数据稠密度和它的感知精度并非正相关的关系,会有一个最精密以及最优质的空间分辨率的点,然后来去做相应的这种抓取。

在整个触觉感知的底层数据的维度,他山科技目前做了一系列标准,也是希望可以跟整个行业一起去建立底层触觉相关的标准。

另外,他山科技也希望可以推动不同的技术路径,以及触觉相关的数据的共享和互通,以便更好地去支撑触觉维度的模型的建立。

在2024年,他山科技也有幸参与了人形机器人和具身智能的标准制定,参考了自动驾驶的L1到L5,划分成了G1到G5。

在G1阶段,更多的是工厂阶段,在G2、G3阶段,可以做到日常生活中的任务的执行,G5是未来最终通用的智能化。现在大部分厂商已处于G1~G3的阶段,想一步到G5还是有较大的难度。

7   数据混合

在数据融合之前,提倡做相应的数据混合。

如何理解数据混合?当人形机器人通过视觉去获取一段长任务,然后把长任务拆解成一系列的子任务,通过专有技术去支撑和执行完成每一个相应子任务的闭环。

拆解完之后,由触觉能力去执行相应的一些能力闭环,然后去支撑任务的发展。其实在这种任务混合/ 数据混合的阶段,已经可以较好地去落地一些垂直场景的应用。

除此之外,还有触觉的空间感知的能力。他山科技也是基于自己底层的针对不同目标的相应的触觉感知的数据库,再做数据的合成/ 混合的训练,包括在模拟仿真环境以及真实环境中的迁移算法的应用。

8   关于他山科技

公司2017年底成立,研发团队由清华大学和曼彻斯特大学人员组成。先是解决了触觉算法的问题,方法是把多维的触觉感知信号解析出来,后面又流了底层的芯片,形成了软硬件一体的完整的解决方案。

在人形机器人方向,主要是提供触觉传感器和电子皮肤。

团队方面,算法团队由清华团队组成,从传感器到芯片的团队是由曼大和清华团队一起做的支撑。

他山科技在2022年芯片成功流片,2023、2024年有较多的机器人相关的投入。公司累计申请了有200多项专利,其中发明专利占80多项,核心的触觉传感器相关专利有40多个。

除了传感器本身,还有模型,他山科技已经在推进触觉感知模拟仿真的内测,预计在2025 年二季度发布。他山科技的灵巧手的指尖的触觉传感器,可以抓取易碎的材质,像鸡蛋或者薯片等材质,以及柔性的豆腐。

芯片方向:目前面向具身的芯片已经量产,下一步还有面向车规和家电消费的芯片。

(本文来源于《EEPW》



关键词: 202505

评论


技术专区

关闭