Meta Platforms Inc.人工智能研究部門的研究人員今天宣布了圍繞自適應技能協(xié)調(diào)和視覺皮層復制的幾項關(guān)鍵進展，他們表示這些進展將允許人工智能驅(qū)動的機器人在沒有任何真實世界數(shù)據(jù)的情況下在現(xiàn)實世界中運行。

（Meta Platforms Inc.是美國一家經(jīng)營社交網(wǎng)絡服務、虛擬現(xiàn)實、元宇宙等產(chǎn)品的互聯(lián)網(wǎng)科技公司，總部位于美國加州門洛帕克，旗下?lián)碛蠪acebook、Instagram、WhatsApp等社交軟件。）

據(jù)稱，這些進展是在創(chuàng)建通用“具身人工智能代理”方面取得的重大進展，該代理能夠在無需人工干預的情況下與現(xiàn)實世界進行交互。第一個公告涉及創(chuàng)建一個名為 VC-1 的人工視覺皮層，該皮層在 Ego4D 數(shù)據(jù)集上進行訓練，該數(shù)據(jù)集由數(shù)千個執(zhí)行日常任務的人的視頻組成。

正如研究人員在博客文章中解釋的那樣，視覺皮層是大腦中使生物體能夠?qū)⒁曈X轉(zhuǎn)化為運動的區(qū)域。因此，人工視覺皮層是任何需要根據(jù)眼前所見執(zhí)行任務的機器人的關(guān)鍵要求。因為 VC-1 需要在廣泛的環(huán)境中很好地完成各種感覺運動任務，Ego4D 數(shù)據(jù)集被證明特別有用，因為它包含世界各地研究參與者執(zhí)行日?；顒拥臄?shù)千小時可穿戴相機視頻，例如烹飪、清潔、運動和手工藝。

研究人員說：“生物有機體有一個通用的視覺皮層，這就是我們尋找具身代理的目的。因此，他們著手創(chuàng)建一個在多項任務上表現(xiàn)良好的數(shù)據(jù)集，從 Ego4D 作為核心數(shù)據(jù)集開始，并通過添加額外的數(shù)據(jù)集來改進 VC-1 進行試驗。由于 Ego4D 主要關(guān)注烹飪、園藝和手工藝等日?；顒?，我們還考慮了探索房屋和公寓的以自我為中心的視頻數(shù)據(jù)集，”研究人員寫道。“

然而，視覺皮層只是具身人工智能的一個元素。對于在現(xiàn)實世界中完全自主工作的機器人，它還必須能夠操縱現(xiàn)實世界的物體。機器人需要能夠?qū)Ш降揭粋€物體，將其撿起，將其帶到另一個位置并放置該物體——并根據(jù)其所見所聞來完成所有這些工作。

為了解決這個問題，Meta 的 AI 專家與美國佐治亞理工學院的研究人員合作開發(fā)了一種稱為“自適應技能協(xié)調(diào)”的新技術(shù)，其中機器人完全在模擬中進行訓練，然后將這些技能轉(zhuǎn)移到現(xiàn)實世界的機器人上。

Meta 與波士頓動力公司合作展示了其 ASC 技術(shù)的有效性。ASC 模型與波士頓動力公司的 Spot 機器人集成在一起，后者具有強大的傳感、導航和操縱能力，盡管需要大量的人工干預。

“例如，挑選一個物體需要一個人點擊機器人平板電腦上的物體。我們的目標是構(gòu)建能夠通過波士頓動力 API 的機載傳感和電機命令來感知世界的 AI 模型?！?/p>

ASC 在使用 HM3D 和 ReplicaCAD 數(shù)據(jù)集構(gòu)建的環(huán)境中使用 Habitat 模擬器在 Spot 上進行了測試，其中包含 1,000 多個家庭的室內(nèi) 3D 掃描。然后，模擬的 Spot 機器人被教導在一個以前看不見的家里四處走動，撿起不在地方的物體，把它們帶到正確的位置，然后把它們放下。后來，這些知識被轉(zhuǎn)移到現(xiàn)實世界中的 Spot 機器人中，這些機器人會根據(jù)它們對房屋外觀的了解自動執(zhí)行相同的任務。

“當我們對我們的工作進行測試時，我們使用了兩個截然不同的現(xiàn)實世界環(huán)境，在這些環(huán)境中，Spot 被要求重新布置各種物體——一個家具齊全的 185 平方米公寓和一個 65 平方米的大學實驗室。總的來說，ASC 取得了近乎完美的表現(xiàn)，在 60 集中的 59 集中取得了成功，克服了硬件不穩(wěn)定、拾取失敗以及移動障礙物或阻塞路徑等對抗性干擾?！?/p>

Meta 的研究人員表示，他們今天正在開源 VC-1 模型，并在隨附的論文中分享了他們在如何縮放模型大小、數(shù)據(jù)集大小等方面的詳細知識。與此同時，該團隊的下一個重點將是嘗試將 VC-1 與 ASC 集成，以創(chuàng)建一個更接近真正體現(xiàn)人工智能的單一系統(tǒng)。