克雷西 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

斯坦福的ALOHA家務(wù)機(jī)器人團(tuán)隊(duì)，發(fā)布了最新研究成果——

項(xiàng)目名為Yell At Your Robot（簡(jiǎn)稱(chēng)YAY），有了它，機(jī)器人的“翻車(chē)”動(dòng)作，只要喊句話(huà)就能糾正了！

而且機(jī)器人可以隨著人類(lèi)的喊話(huà)動(dòng)態(tài)提升動(dòng)作水平、即時(shí)調(diào)整策略，并根據(jù)反饋持續(xù)自我改進(jìn)。

比如在這個(gè)場(chǎng)景中，機(jī)器人沒(méi)能完成系統(tǒng)設(shè)定的“把海綿放入袋子”的任務(wù)。

這時(shí)研究者直接朝它喊話(huà)，“用海綿把袋子撐得再開(kāi)一些”，之后就一下子成功了。

而且，這些糾正的指令還會(huì)被系統(tǒng)記錄下來(lái)，成為訓(xùn)練數(shù)據(jù)，用于進(jìn)一步提高機(jī)器人的后續(xù)表現(xiàn)。

有網(wǎng)友看了說(shuō)，既然已經(jīng)能朝著機(jī)器人喊話(huà)了，那汽車(chē)是不是也快點(diǎn)安排上，還在線點(diǎn)名特斯拉和其自動(dòng)駕駛軟件總監(jiān)Ashok Elluswamy。

成果發(fā)布后，前谷歌機(jī)器人高級(jí)研究員Eric Jang，前DeepMind研究員、斯坦福客座教授Karol Hausman等一眾大佬也紛紛表示了肯定和贊許。

那么，用喊話(huà)調(diào)整的機(jī)器人，都能實(shí)現(xiàn)什么樣的動(dòng)作呢？

喊話(huà)就能發(fā)號(hào)施令

利用YAY技術(shù)調(diào)教后，機(jī)器人以更高的成功率挑戰(zhàn)了物品裝袋、水果混合和洗盤(pán)子這三項(xiàng)復(fù)雜任務(wù)。

這三種任務(wù)的特點(diǎn)是都需要兩只手分別完成不同的動(dòng)作，其中一只手要穩(wěn)定地拿住容器并根據(jù)需要調(diào)整姿態(tài)，另一只手則需要準(zhǔn)確定位目標(biāo)位置并完成指令，而且過(guò)程中還涉及海綿這種軟性物體，拿捏的力度也是一門(mén)學(xué)問(wèn)。

以打包裝袋這個(gè)任務(wù)為例，機(jī)器人在全自主執(zhí)行的過(guò)程中會(huì)遇到各種各樣的困難，但通過(guò)喊話(huà)就能見(jiàn)招拆招。

只見(jiàn)機(jī)器人在將裝袋的過(guò)程中不小心把海綿掉落了下來(lái)，然后便無(wú)法再次撿起。

這時(shí)，開(kāi)發(fā)者直接朝它喊話(huà)，口令就是簡(jiǎn)單的“往我這邊挪一挪，然后往左”。

當(dāng)按照指令做出動(dòng)作后，第一次還是沒(méi)成功，但機(jī)器人記住了“往左”這個(gè)指令，再次左移之后便成功把海綿撿起來(lái)了。

但緊接著就出現(xiàn)了新的困難——袋子的口被卡住了。

這時(shí)只要告訴它再把袋子打開(kāi)一點(diǎn)點(diǎn)，機(jī)器人就“心領(lǐng)神會(huì)”，調(diào)整出了一系列后續(xù)動(dòng)作，并最終成功完成任務(wù)。

而且不只是能糾正錯(cuò)誤，任務(wù)的細(xì)節(jié)也能通過(guò)喊話(huà)實(shí)時(shí)調(diào)整，比如在裝糖的任務(wù)中，開(kāi)發(fā)者覺(jué)得機(jī)器人拿的糖有點(diǎn)多了，只要喊出“少一點(diǎn)”，機(jī)器人就會(huì)將一部分糖果倒回盒子。

進(jìn)一步地，人類(lèi)發(fā)出的這些指令還會(huì)被系統(tǒng)記錄并用作微調(diào)，以提高機(jī)器人的后續(xù)表現(xiàn)。

比如在刷盤(pán)子這項(xiàng)任務(wù)中，經(jīng)過(guò)微調(diào)之后的機(jī)器人清潔力度更強(qiáng)，范圍也變大了。

統(tǒng)計(jì)數(shù)據(jù)表明，機(jī)器人在經(jīng)歷這種微調(diào)之后，平均任務(wù)成功率提高了20%，如果繼續(xù)加入喊話(huà)指令還能繼續(xù)提高。

而且這樣的指令-微調(diào)過(guò)程可以迭代進(jìn)行，每迭代一次機(jī)器人的表現(xiàn)都能有所提升。

那么，YAY具體是如何實(shí)現(xiàn)的呢？

人類(lèi)教誨“銘記在心”

架構(gòu)上，整個(gè)YAY系統(tǒng)主要由高級(jí)策略和低級(jí)策略這兩個(gè)部分組成。

其中高級(jí)策略負(fù)責(zé)生成指導(dǎo)低級(jí)策略的語(yǔ)言指令，低級(jí)策略則用于執(zhí)行具體動(dòng)作。

具體來(lái)說(shuō)，高級(jí)策略將攝像頭捕捉到的視覺(jué)信息編碼，與相關(guān)知識(shí)結(jié)合，然后由Transformer生成包含當(dāng)前動(dòng)作描述、未來(lái)動(dòng)作預(yù)測(cè)等內(nèi)容的指令。

而低級(jí)策略接收到語(yǔ)言指令后，會(huì)解析這些指令中的關(guān)鍵詞，并映射到機(jī)器人關(guān)節(jié)的目標(biāo)位置或運(yùn)動(dòng)軌跡。

同時(shí)，YAY系統(tǒng)引入了實(shí)時(shí)的語(yǔ)言糾正機(jī)制，人類(lèi)的口頭命令優(yōu)先級(jí)最高——經(jīng)識(shí)別后，直接傳遞給低級(jí)策略用于執(zhí)行。

且在這個(gè)過(guò)程中命令會(huì)被系統(tǒng)記錄并用于微調(diào)高級(jí)策略——通過(guò)學(xué)習(xí)人類(lèi)提供的糾正性反饋，逐漸減少對(duì)即時(shí)口頭糾正的依賴(lài)，從而提高長(zhǎng)期任務(wù)的自主成功率。

在完成基礎(chǔ)訓(xùn)練并已經(jīng)在真實(shí)環(huán)境中部署后，系統(tǒng)仍然可以繼續(xù)收集指令信息，不斷地從反饋中學(xué)習(xí)并進(jìn)行自我改進(jìn)。

作者簡(jiǎn)介

本項(xiàng)目的第一作者是斯坦福大學(xué)的學(xué)生研究員Lucy X. Shi，2019年畢業(yè)于人大附中后進(jìn)入南加州大學(xué)就讀計(jì)算機(jī)科學(xué)專(zhuān)業(yè)。

其間，Lucy曾到英偉達(dá)實(shí)習(xí)研究多模態(tài)大模型，并曾與知名AI學(xué)者Jim Fan博士合作。

她的論文曾連續(xù)兩年被機(jī)器人頂會(huì)CoRL收錄，還入選過(guò)NeurIPS，本人還被DeepMind邀請(qǐng)發(fā)表過(guò)演講。

Lucy的導(dǎo)師Chelsea Finn是斯坦福計(jì)算機(jī)科學(xué)和電氣工程系助理教授，谷歌學(xué)術(shù)論文引用數(shù)超4.7萬(wàn)，此前還在Google Brain工作過(guò)一段時(shí)間。

包括本項(xiàng)目在內(nèi)，在ALOHA團(tuán)隊(duì)發(fā)表的一系列論文當(dāng)中，F(xiàn)inn總是作為通訊作者出現(xiàn)。

此外，ALOHA團(tuán)隊(duì)的Tony Z. Zhao、Sergey Levine等研究人員，也是本文的共同作者。

論文地址：
https://arxiv.org/abs/2403.12910

— 完 —

量子位 QbitAI · 頭條號(hào)簽約

關(guān)注我們，第一時(shí)間獲知前沿科技動(dòng)態(tài)