(资料图)

卡内基梅隆大学的一项新工作使机器人能够通过观看人们在家中执行日常任务的视频来学习家务。

这项研究有助于提高机器人在家庭中的实用性，使它们能够帮助人们完成烹饪和清洁等任务。两台机器人成功学会了打开抽屉、烤箱门和盖子等 12 项任务;把锅从炉子上取下来;拿起电话、蔬菜或汤罐头。

卡内基梅隆大学计算机科学学院机器人研究所助理教授 Deepak Pathak 表示：“机器人可以通过观看视频来了解人类在何处以及如何与不同物体互动。” “根据这些知识，我们可以训练一个模型，使两个机器人能够在不同的环境中完成类似的任务。”

目前训练机器人的方法需要人类手动演示任务或在模拟环境中进行广泛的训练。两者都很耗时且容易失败。帕塔克和他的学生过去的研究展示了一种新颖的方法，机器人通过观察人类完成任务来学习。然而， WHIRL(In-the-Wild Human Imitating Robot Learning)的缩写，要求人类在与机器人相同的环境中完成任务。

Pathak 的最新作品 Vision-Robotics Bridge(简称 VRB) 建立在 WHIRL 的基础上并对其进行了改进。新模型消除了人类演示的必要性以及机器人在相同环境中操作的需要。与 WHIRL 一样，机器人仍然需要练习才能掌握任务。该团队的研究表明，它可以在短短 25 分钟内学习一项新任务。

“我们能够在校园里携带机器人并执行各种任务，” 博士Shikhar Bahl说。机器人学专业的学生。“机器人可以使用这个模型好奇地探索周围的世界。机器人可以更直接地进行交互，而不是仅仅挥动手臂。”

为了教机器人如何与物体互动，该团队应用了可供性的概念。可供性源于心理学，指的是环境为个人提供的东西。该概念已扩展到设计和人机交互，以指个人感知的潜在行为。

对于 VRB，功能可见性定义了机器人可以在何处以及如何与基于人类行为的对象进行交互。例如，当机器人观察人类打开抽屉时，它会直接从起始位置识别接触点(手柄)以及抽屉移动的方向。在观看了几个人类打开抽屉的视频后，机器人可以确定如何打开任何抽屉。

该团队使用来自 Ego4D 和 Epic Kitchens 等大型数据集的视频。 Ego4D 拥有近 4,000 小时的以自我为中心的视频，内容涉及世界各地的日常活动。卡耐基梅隆大学的研究人员 帮助收集了其中一些视频。 Epic Kitchens 也有类似的视频，捕捉烹饪、清洁和其他厨房任务。这两个数据集旨在帮助训练计算机视觉模型。

“我们正在以一种新的、不同的方式使用这些数据集，”Bahl 说。“这项工作可以让机器人从大量可用的互联网和 YouTube 视频中学习。”

关键词：