新闻 > 科教 > 正文

刷屏全网!斯坦福做饭机器人的满汉全席

—斯坦福做饭机器人 华人学霸开发 能做满汉全席

今天,会做一大桌子菜的斯坦福机器人Mobile ALOHA刷屏全网。 滑蛋虾仁、干贝烧鸡、蚝油生菜,色香味俱全,看着很诱人。

材料价格一览有兴趣的小伙伴可以查看他们的官方文档:https://docs.google.com/document/d/1_3yhWjodSNNYlpxkRCPIlvIAaQ76Nqk2wsqhnEVM6Dc/edit

硬件得到了,接下来便是使用数据进行协同训练。论文中,研究人员使用一个协同训练管道,利用现有的静态ALOHA数据集,以改善模仿学习在移动操作,特别是双手臂操作的性能。静态ALOHA数据集总共有825个演示任务,包括密封袋子、拿起叉子、包装糖果、撕纸巾、打开带盖塑料杯、玩乒乓球、使用咖啡机、翻转铅笔、固定魔术贴电缆、装上电池和操作螺丝刀。然后,研究人员选择了7个任务,让Mobile ALOHA去完成。对于机器人需要清理洒在桌子上红酒的任务,需要机动性和双手灵活性。具体来说,机器人需要首先导航到水龙头,拿起毛巾,然后导航回到桌子。然后一只手臂举起酒杯,另一只手臂需要用毛巾擦拭桌子和杯底。这个任务在静态ALOHA中是不可能完成的,单臂移动机器人需要更多的时间来完成。

对于炒虾仁来说,机器人需要将一个生虾两面煎熟,然后把它放进碗里。机动性和双手灵活性也是这项任务的必要条件:机器人需要从灶台移动到厨房台,用铲子翻动虾仁,而另一只手臂还需倾斜平底锅。这项任务要求比擦酒精度更高,因为翻转半熟的虾需要更高的精度。

同样,对于清洗平底锅、收纳锅、乘坐电梯、推椅子、击掌的任务,Mobile ALOHA也能熟练地完成。

下图是机器人在执行任务时的导航移动轨迹。

实验评估中,研究人员主要为了回答两个核心问题:

(1)通过协同训练和少量移动操作数据,Mobile ALOHA能否掌握复杂的移动操作技能?(2)Mobile ALOHA能否使用不同类型的模仿学习方法,包括ACT、扩散策略和基于检索的VINN?研究发现,协同训练可以提高ACT性能。在7项具有挑战性的移动操作任务中,与静态ALOHA数据集进行协同训练可持续提高ACT的成功率。这对于乘电梯时需要按键、清洗锅时需要打开水龙头,等子任务尤为重要,因为在这些任务中,精确操作是瓶颈所在。

另外,Mobile ALOHA与“模仿学习”方法兼容。带分块的VINN、扩散策略和ACT在Mobile ALOHA上都取得了良好的性能,并且受益于与静态ALOHA的协同训练。

协同训练针对不同数据组合,其表现也是非常稳健。如下是使用ACT进行擦拭酒的任务训练后的成功率。

协同训练和预训练效果对比如下。协同训练在擦拭酒的任务中的表现,成功率95%,大大优于预训练的成功率40%。

另外,用户使用Mobile ALOHA远程操控未见过的任务时,可以迅速接近专家级速度。

总而言之,仅用32000美元的预算,通过静态ALOHA数据协同训练的模仿学习,Mobile ALOHA只需要20-50个演示就能学会各种复杂的任务。斯坦福Mobile ALOHA向所有人展示了机器人在各种应用场景的潜力,甚至机器人开源实现了人人可复刻。网友表示,机器人学是一门既需要硬件又需要算法的系统研究。我猜在2024年,我们将在现实世界中看到越来越多的机器人。

Zipeng Fu(项目共同负责人)

Zipeng Fu是斯坦福大学AI实验室的计算机科学博士生,导师是Chelsea Finn。同时也在Google DeepMind担任学生研究员,与Jie Tan合作。此前,他在卡内基梅隆大学(CMU)攻读机器学习领域的硕士学位,并在机器人学院(Robotics Institute)担任学生研究员,导师是Deepak Pathak和Jitendra Malik。他在加州大学洛杉矶分校(UCLA)获得了计算机科学与应用数学的学士学位,导师是Song-Chun Zhu。他的研究兴趣集中在机器人学、机器学习和计算机视觉的交汇处。并致力于研究在复杂多变的开放世界中实现稳定性能和可实际部署的机器人系统。他的研究得到斯坦福研究生奖学金的支持,并且还是Pierre和Christine Lamond奖学金的获得者。Tony Z. Zhao(项目共同负责人)

Tony Z. Zhao是斯坦福大学的计算机科学博士生,导师是Chelsea Finn。同时也在Google DeepMind担任兼职研究助理。在此之前,他于2021年在加州大学伯克利分校(UCB)获得了电子与计算机科学(EECS)学士学位,导师是Sergey Levine和Dan Klein。并曾在特斯拉Autopilot和谷歌X Intrinsic实习。他的目标是使机器人能够完成复杂而精细的操控任务。Chelsea Finn

Chelsea Finn是斯坦福大学计算机科学与电气工程的助理教授。研究兴趣是机器人及其他智能体能够通过学习和互动来展现出的智能行为。她的实验室IRIS致力于通过大规模的机器人互动研究智能,并且是SAIL和ML Group的合作实验室。同时,她也在Google Brain团队担任研究工作。此前,她在加州大学伯克利分校(UCB)获得了计算机科学博士学位,并在麻省理工学院(MIT)取得了电气工程与计算机科学的学士学位。

责任编辑: 方寻  来源:新智元 转载请注明作者、出处並保持完整。

本文网址:https://www.aboluowang.com/2024/0106/2000343.html