這可能會(huì)是AI技術(shù)形態(tài)的一個(gè)轉(zhuǎn)折點(diǎn),大模型的下一個(gè)形態(tài)，不再是人和模型一輪一輪的即時(shí)問(wèn)答了。

當(dāng)?shù)貢r(shí)間 7 月 29 日，在美國(guó)丹佛舉行的第 51 屆 SIGGRAPH 計(jì)算機(jī)圖形學(xué)會(huì)議上，英偉達(dá)創(chuàng)始人、CEO 黃仁勛與 Meta 創(chuàng)始人、CEO 馬克?扎克伯格進(jìn)行了一場(chǎng)全球矚目的爐邊談話。

這場(chǎng)對(duì)話主要圍繞生成式 AI 技術(shù)，及其在各種領(lǐng)域上的應(yīng)用展開(kāi)。會(huì)議中，面向全球領(lǐng)先的機(jī)器人制造商、AI 模型開(kāi)發(fā)者和軟件制造商，英偉達(dá)提供了一套全新服務(wù)、模型以及計(jì)算平臺(tái)，以幫助開(kāi)發(fā)、訓(xùn)練和構(gòu)建下一代人形機(jī)器人。

這套產(chǎn)品包括用于機(jī)器人仿真和學(xué)習(xí)的全新 NVIDIA NIM 微服務(wù)和框架、用于運(yùn)行多階段機(jī)器人工作負(fù)載的 NVIDIA OSMO 編排服務(wù)，以及支持 AI 和仿真的遠(yuǎn)程操作工作流，該工作流允許開(kāi)發(fā)者使用少量人類演示數(shù)據(jù)來(lái)訓(xùn)練機(jī)器人。

英偉達(dá)創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“AI 的下一波浪潮是機(jī)器人，其中最令人興奮的發(fā)展之一是人形機(jī)器人。我們正在推進(jìn)整個(gè) NVIDIA 機(jī)器人堆棧的發(fā)展，面向全球人形機(jī)器人開(kāi)發(fā)者和公司開(kāi)放訪問(wèn)，讓他們能夠使用最符合其需求的平臺(tái)、加速庫(kù)和 AI 模型?！?/span>

借助 NVIDIA NIM 和 OSMO 加速開(kāi)發(fā)

NIM 微服務(wù)提供了由英偉達(dá)推理軟件提供支持的預(yù)構(gòu)建容器，使開(kāi)發(fā)者能夠?qū)⒉渴饡r(shí)間從數(shù)周縮短到幾分鐘。機(jī)器人專家將能夠通過(guò)兩項(xiàng)新的 AI 微服務(wù)，在 NVIDIA Isaac Sim（基于 NVIDIA Omniverse? 平臺(tái)構(gòu)建的機(jī)器人仿真參考應(yīng)用）中增強(qiáng)生成式物理 AI 仿真工作流。

MimicGen NIM 微服務(wù)可根據(jù) Apple Vision Pro 等空間計(jì)算設(shè)備記錄的遠(yuǎn)程操作數(shù)據(jù)，生成合成運(yùn)動(dòng)數(shù)據(jù)。Robocasa NIM 微服務(wù)可在 OpenUSD（一個(gè)用于在 3D 世界中進(jìn)行開(kāi)發(fā)和協(xié)作的通用框架）中生成機(jī)器人任務(wù)和仿真就緒環(huán)境。

本次推出的 NVIDIA OSMO 是一項(xiàng)云原生托管服務(wù)，允許用戶跨分布式計(jì)算資源來(lái)協(xié)調(diào)和擴(kuò)展復(fù)雜的機(jī)器人開(kāi)發(fā)工作流，無(wú)論是在本地還是在云端。OSMO 大大簡(jiǎn)化了機(jī)器人訓(xùn)練和仿真工作流，將部署和開(kāi)發(fā)周期從數(shù)月縮短到一周內(nèi)。

用戶可以對(duì)各種任務(wù)進(jìn)行可視化管理，包括合成數(shù)據(jù)生成、模型訓(xùn)練、強(qiáng)化學(xué)習(xí)以及大規(guī)模的人形機(jī)器人、自主移動(dòng)機(jī)器人和工業(yè)機(jī)械臂軟件在環(huán)測(cè)試。

為人形機(jī)器人開(kāi)發(fā)者提供先進(jìn)的數(shù)據(jù)捕獲工作流

訓(xùn)練人形機(jī)器人的基礎(chǔ)模型需要大量的數(shù)據(jù)。遠(yuǎn)程操作是獲取人類演示數(shù)據(jù)的方法之一，但這個(gè)過(guò)程正變得越來(lái)越昂貴和漫長(zhǎng)。通過(guò)在 SIGGRAPH 計(jì)算機(jī)圖形大會(huì)上展示的 NVIDIA AI 和 Omniverse 遠(yuǎn)程操作參考工作流，研究者和 AI 開(kāi)發(fā)者能夠從極少量遠(yuǎn)程捕捉的人類演示中生成大量合成運(yùn)動(dòng)和感知數(shù)據(jù)。

首先，開(kāi)發(fā)者使用 Apple Vision Pro 捕獲少量遠(yuǎn)程操作演示，隨后在 NVIDIA Isaac Sim 中仿真這些錄像，并使用 MimicGen NIM 微服務(wù)基于錄像生成合成數(shù)據(jù)集。開(kāi)發(fā)者可以使用真實(shí)數(shù)據(jù)和合成數(shù)據(jù)對(duì) Project GR00T 人形機(jī)器人基礎(chǔ)模型進(jìn)行訓(xùn)練，以節(jié)省時(shí)間和降低成本。

然后，他們可以使用 Isaac Lab 中的 Robocasa NIM 微服務(wù)（一個(gè)機(jī)器人學(xué)習(xí)框架）來(lái)生成經(jīng)驗(yàn)并重新訓(xùn)練機(jī)器人模型。在整個(gè)工作流中，NVIDIA OSMO 將計(jì)算任務(wù)無(wú)縫地分配給不同的資源，為開(kāi)發(fā)者減少了數(shù)周的管理工作量。與此同時(shí)，英偉達(dá)也發(fā)布了一系列通用場(chǎng)景描述（OpenUSD）的重大成果。

這將擴(kuò)大這一通用 3D 數(shù)據(jù)交換框架在機(jī)器人、工業(yè)設(shè)計(jì)和工程領(lǐng)域的應(yīng)用，提高開(kāi)發(fā)者為 AI 新一輪發(fā)展構(gòu)建高精度虛擬世界的能力。通過(guò)基于 OpenUSD 的全新生成式 AI，以及在 Omniverse 平臺(tái)構(gòu)建的英偉達(dá)加速的開(kāi)發(fā)框架，越來(lái)越多的行業(yè)現(xiàn)在能夠開(kāi)發(fā)出用于可視化工業(yè)設(shè)計(jì)和工程項(xiàng)目的應(yīng)用，以及用于構(gòu)建新一代物理 AI 和機(jī)器人的環(huán)境仿真的應(yīng)用。

新推出的內(nèi)容包括適用于 AI 模型的 NVIDIA NIM 微服務(wù)，這些微服務(wù)可生成回答用戶查詢的 OpenUSD 語(yǔ)言、生成 OpenUSDPython 代碼、將材質(zhì)應(yīng)用于 3D 物體、理解 3D 空間和物理學(xué)以幫助加快數(shù)字孿生的開(kāi)發(fā)等。其他還包括可用于機(jī)器人和工業(yè)仿真數(shù)據(jù)格式的全新 USD 連接器，以及各種開(kāi)發(fā)者工具，用戶可通過(guò)它們將海量 NVIDIARTX 全光線追蹤數(shù)據(jù)集傳輸?shù)?AppleVision Pro。

英偉達(dá) NVIDIA Omniverse 與仿真技術(shù)副總裁 Rev Lebaredian 表示：“重工業(yè)的生成式 AI 潮已經(jīng)到來(lái)。直到最近，數(shù)字世界的主要用戶還是創(chuàng)意行業(yè)；而現(xiàn)在，借助 NVIDIA NIM 微服務(wù)為 OpenUSD 帶來(lái)的增強(qiáng)功能和可訪問(wèn)性，各個(gè)行業(yè)都可以創(chuàng)建基于物理學(xué)的虛擬世界和數(shù)字孿生，在加快創(chuàng)新的同時(shí)，為機(jī)器人這次新一輪 AI 技術(shù)熱潮做好準(zhǔn)備?！?/span>

通過(guò) NVIDIA NIM 將生成式 AI 應(yīng)用于 USD

英偉達(dá)開(kāi)發(fā)的全球首個(gè)用于 OpenUSD 開(kāi)發(fā)的生成式 AI 模型將以 NVIDIA NIM 微服務(wù)的形式提供。借助這些模型，開(kāi)發(fā)者能夠?qū)⑸墒?AI copilot 和智能體整合到 USD 工作流中，拓寬 3D 世界的可能性，幫助加快 USD 在制造業(yè)、汽車行業(yè)和機(jī)器人等新工業(yè)領(lǐng)域的應(yīng)用。

USD 連接器為更多行業(yè)帶來(lái)生成式 AI

多款適用于機(jī)器人數(shù)據(jù)格式和 Apple Vision Pro 流式傳輸?shù)娜?USD 連接器將為更多行業(yè)帶來(lái) OpenUSD 互操作性與高級(jí)創(chuàng)作能力。為幫助更多使用 OpenUSD 的工業(yè)工作負(fù)載，英偉達(dá)與全球工業(yè)自動(dòng)化和軟件領(lǐng)先者西門子正在擴(kuò)大合作。

西門子將把 OpenUSD 流水線與其 Simcenter 仿真技術(shù)組合集成，以支持基于證據(jù)的決策和關(guān)鍵利益相關(guān)方之間的協(xié)作。該集成可實(shí)現(xiàn)復(fù)雜仿真數(shù)據(jù)的高保真、實(shí)時(shí)、逼真可視化，讓企業(yè)能夠更加深入地了解產(chǎn)品在實(shí)際操作環(huán)境中的性能。西門子將把 Omniverse 納入到其 Teamcenter 產(chǎn)品生命周期管理軟件組合中，為這項(xiàng)工作打好基礎(chǔ)。

英偉達(dá)還發(fā)布了一個(gè)從統(tǒng)一機(jī)器人描述格式（Unified Robotics DescriptionFormat）到 OpenUSD 的連接器，讓機(jī)器人專家能夠?qū)⑺麄兊臋C(jī)器人數(shù)據(jù)無(wú)縫導(dǎo)入到用于設(shè)計(jì)、仿真和強(qiáng)化學(xué)習(xí)等用途的各種應(yīng)用中。

為了進(jìn)一步推動(dòng) OpenUSD 生態(tài)系統(tǒng)的擴(kuò)張，英偉達(dá)發(fā)布了 OpenUSD Exchange 軟件開(kāi)發(fā)套件，幫助開(kāi)發(fā)者創(chuàng)建出自己的強(qiáng)大 OpenUSD 數(shù)據(jù)連接器。新的開(kāi)發(fā)者工具和 API 可通過(guò) NVIDIA Graphics Delivery Network（GDN），將大規(guī)模 OpenUSD 場(chǎng)景從基于 Omniverse 平臺(tái)構(gòu)建的應(yīng)用流式傳輸?shù)?Apple Vision Pro。目前，這些新工具和 API 提供搶先體驗(yàn)版本。