如何帮助机器人集中注意力并为应用有效助力

该系统帮助机器人专注于重要的事情，使用声音和图像来猜测人类的目标，并快速安全地提供正确的帮助。

使用麻省理工学院开发的新型相关性框架，该机器人可以识别场景中的物体并确定其优先级，以无缝、智能和安全的方式自主协助人类。鸣谢：鸣谢：由研究人员提供

机器人发现现实世界很难理解。麻省理工学院制作了一个名为“相关性”的系统，以帮助机器人专注于重要的事情。它使用声音和图像来猜测一个人想要什么并迅速提供帮助。

该团队用自助早餐对其进行了测试。该机器人使用摄像头和麦克风，通过观察和倾听来向人们递咖啡。它猜对了 90% 的目标，96% 的时间选择了正确的对象，事故减少了 60%。

寻找焦点

该团队构建了一个机器人，其工作方式类似于大脑的 RAS，帮助它专注于重要的事情而忽略其余的事情。首先，机器人使用摄像头和麦克风进行观察和倾听，将所见所闻发送给 AI，后者会找到人、物体、动作和关键词。其次，它检查是否有任何重要的事情发生，例如一个人进入房间。如果它看到一个人，第三步就开始了：机器人弄清楚这个人想要什么，并找到合适的物品来提供帮助，比如挑选杯子和奶精，而不是水果和零食。

帮助程序模式

研究人员通过模拟会议自助早餐的实验测试了他们的新系统。他们之所以选择这种设置，是因为 Breakfast Actions 数据集已公开发布，其中包含显示常见早餐活动（如煮咖啡、煮煎饼、制作麦片和煎蛋）的视频和图像。每个视频和图像都标有具体的作和总体目标，例如 “煮咖啡” 或 “煎蛋”。

利用这个数据集，该团队在其 AI 工具包中训练和测试了不同的算法，以识别人类行为，找出人的目标，并确定需要帮助的对象。在他们的实验中，他们设置了一个机械臂和夹持器，然后要求机器人在人们接近一张装满饮料、小吃和餐具的桌子时协助他们。当周围没有人时，机器人的 AI 会在后台悄悄地工作，对桌子上的物体进行标记和分类。但是，当检测到人类时，机器人会立即切换到其相关性阶段，根据 AI 预测的目标快速找到对人类最有帮助的对象。