訂閱
糾錯(cuò)
加入自媒體

2018~2025:英偉達(dá)在具身智能機(jī)器人領(lǐng)域的關(guān)鍵布局詳解

英偉達(dá)首席執(zhí)行官黃仁勛曾多次強(qiáng)調(diào)“AI的下一個(gè)浪潮將是具身智能”;诖硕床欤ミ_(dá)從2018年開(kāi)始,便前瞻性布局具身智能領(lǐng)域,致力于打造一個(gè)完整的技術(shù)閉環(huán)與底層開(kāi)發(fā)生態(tài)體系。

圖片

英偉達(dá)具身智能領(lǐng)域關(guān)鍵布局(機(jī)器覺(jué)醒時(shí)代制表) 

2018年具身智能布局:初步構(gòu)建機(jī)器人開(kāi)發(fā)平臺(tái)

1. 2018年6月,英偉達(dá)推出NVIDIA Isaac平臺(tái)

2018年6月:英偉達(dá)推出NVIDIA Isaac機(jī)器人開(kāi)發(fā)平臺(tái),該平臺(tái)包含硬件(Jetson Xavier計(jì)算平臺(tái))和一系列軟件工具(包括Isaac SDK、Isaac IMX和Isaac Sim), 初步構(gòu)建機(jī)器人開(kāi)發(fā)、訓(xùn)練與驗(yàn)證的基礎(chǔ)設(shè)施。

1)硬件

Jetson Xavier:專為機(jī)器人設(shè)計(jì)的計(jì)算平臺(tái),其中,Xavier SoC芯片內(nèi)部集成超90億顆晶體管,可實(shí)現(xiàn)每秒超30萬(wàn)億次浮點(diǎn)運(yùn)算。該芯片搭載六種高性能處理器,包括 Volta 架構(gòu) Tensor 核心 GPU(1個(gè))、八核心 ARM64 CPU(1個(gè))、 深度學(xué)習(xí)加速器DLA(2個(gè)),以及圖像處理器(1個(gè))、視覺(jué)加速器(1個(gè))和視頻編碼器和解碼器(各1個(gè))。憑借強(qiáng)大的硬件配置,Jetson Xavier 能夠同時(shí)實(shí)時(shí)運(yùn)行數(shù)十種算法,覆蓋傳感器處理、測(cè)距、定位與繪圖、視覺(jué)感知及路徑規(guī)劃等多種任務(wù)。

圖片

Jetson Xavier架構(gòu)框圖(圖片來(lái)源:英偉達(dá))

2)軟件

NVIDIA為Jetson Xavier 提供了一整套覆蓋模擬、訓(xùn)練、驗(yàn)證及部署全流程的機(jī)器人學(xué)習(xí)軟件工具,具體包括:

Isaac SDK:是一套包含應(yīng)用程序接口(API)與工具的運(yùn)行時(shí)框架,配備全面加速的庫(kù),用于開(kāi)發(fā)機(jī)器人算法軟件。Isaac IMX(Intelligent Machine Acceleration):IMX即智能機(jī)器加速應(yīng)用程序,是一套由英偉達(dá)開(kāi)發(fā)的機(jī)器人算法軟件集合。旨在為機(jī)器人開(kāi)發(fā)提供預(yù)開(kāi)發(fā)的、優(yōu)化的算法軟件,涵蓋了機(jī)器人應(yīng)用中的多個(gè)領(lǐng)域,如傳感器處理、視覺(jué)與感知、定位與繪圖等。Isaac Sim:為開(kāi)發(fā)者提供高度逼真的虛擬仿真環(huán)境,用于自主訓(xùn)練,并支持使用Jetson Xavier進(jìn)行硬件在環(huán)測(cè)試。

圖片

Isaac 工作原理(圖片來(lái)源:英偉達(dá))

備注:2018-2019年的 Isaac Sim 獨(dú)立于 Omniverse,基于 Unreal/Unity 引擎開(kāi)發(fā)。此后,英偉達(dá)逐步將 Isaac Sim 遷移至 Omniverse 平臺(tái),例如 2021 年發(fā)布的 Omniverse Isaac Sim 完全基于 Omniverse 架構(gòu),替換了早期的 Unreal/Unity 引擎,并整合了 Omniverse 的核心技術(shù),如物理引擎 PhysX 5、RTX 渲染、OpenUSD 場(chǎng)景描述等。

如今,Isaac Sim 是一款基于 NVIDIA Omniverse™構(gòu)建的綜合性機(jī)器人仿真平臺(tái),可通過(guò)高級(jí)物理效果與逼真渲染實(shí)現(xiàn)高保真仿真。該平臺(tái)聚焦于合成數(shù)據(jù)生成(SDG)以及測(cè)試和驗(yàn)證(SIL/HIL),是定制機(jī)器人模擬器的參考模板。

參考資料

1. NVIDIA Isaac Sim 工作原理

https://developer.nvidia.cn/isaac/sim

2022年具身智能布局:技術(shù)迭代與生態(tài)拓展

2. 2022年3月:英偉達(dá)推出Isaac Nova Orin參考平臺(tái)

2022年3月,英偉達(dá)在 GTC 大會(huì)上正式推出了 Isaac Nova Orin參考平臺(tái),這是一款專為自主移動(dòng)機(jī)器人(AMR)設(shè)計(jì)的計(jì)算和傳感器平臺(tái),由多達(dá)兩臺(tái) Jetson AGX Orin 計(jì)算機(jī)(≥550TOPS )和一套適用于新一代 AMR 的傳感器套件組,旨在加速 AMR 的開(kāi)發(fā)與部署。

其中,Jetson AGX Orin 配備 NVIDIA Ampere 架構(gòu) GPU和Arm Cortex-A78AE CPU,以及新一代深度學(xué)習(xí)和視覺(jué)加速器。

圖片

Jetson AGX Orin系列基本參數(shù)信息(機(jī)器覺(jué)醒時(shí)代制表)

傳感器套件包括6攝像頭(2深度感知攝像頭 + 4廣角攝像頭)+ 3激光雷達(dá)(2個(gè)導(dǎo)航2D激光雷達(dá)和1個(gè)用于地圖構(gòu)建的3D激光雷達(dá)(選配))+ 8超聲波雷達(dá)。

備注:后續(xù)擴(kuò)展—— 2024 年 3 月,英偉達(dá)與九號(hào)公司合作發(fā)布 Nova Orin 開(kāi)發(fā)者套件,針對(duì) Nova Carter AMR 平臺(tái)優(yōu)化,預(yù)裝 Isaac Perceptor 堆棧,進(jìn)一步簡(jiǎn)化二次開(kāi)發(fā)流程。

3. 2022年11月:英偉達(dá)發(fā)布具身智能體MinDojo

2022年11月22日,英偉達(dá)發(fā)布了具有互聯(lián)網(wǎng)規(guī)模知識(shí)的開(kāi)放式具身智能體 MinDojo。它是一個(gè)建立在Minecraft 游戲之上的新框架,用于具身智能體研究。

該模型構(gòu)建了具身智能體最關(guān)鍵的三個(gè)要素:支持多種任務(wù)和目標(biāo)的環(huán)境、大規(guī)模的多模態(tài)知識(shí)數(shù)據(jù)庫(kù)以及靈活且可擴(kuò)展的智能體架構(gòu),為具身智能體的研究和發(fā)展提供了重要的基礎(chǔ)和框架。

備注:MineCraft(《我的世界》)是一款由微軟旗下 Mojang Studios 開(kāi)發(fā)的沙盒游戲。

參考資料

1. NVIDIA Isaac Nova Orin

https://zhuanlan.zhihu.com/p/555258658

2023年具身智能布局:生成式AI與機(jī)器人融合

4. 2023年5月:英偉達(dá)發(fā)布智能體 —— Voyager

2023年5月,英偉達(dá)與加州理工學(xué)院、德克薩斯大學(xué)奧斯汀分校、斯坦福大學(xué)、亞利桑那州立大學(xué)等多所高校的研究者聯(lián)合發(fā)布智能體—— Voyager。

Voyager智能體包含三個(gè)核心組件:自動(dòng)學(xué)習(xí)路徑、迭代提示機(jī)制和技能庫(kù)。

圖片

Voyager智能體工作原理

Voyager是一個(gè)由 LLM 驅(qū)動(dòng)的可終身學(xué)習(xí)的具身智能體,展示了大語(yǔ)言模型在驅(qū)動(dòng)智能體進(jìn)行復(fù)雜任務(wù)學(xué)習(xí)和探索方面的強(qiáng)大能力,為人工智能的發(fā)展提供了新的思路和方向。它在MineCraft虛擬環(huán)境中能夠自主探索、根據(jù)環(huán)境和自身狀態(tài)生成任務(wù)、不斷學(xué)習(xí)新技能并保存到技能庫(kù)中,具備具身智能體所要求的與環(huán)境交互并學(xué)習(xí)進(jìn)化的特征。

備注:MineCraft(《我的世界》)是一款由微軟旗下 Mojang Studios 開(kāi)發(fā)的沙盒游戲。

5. 2023年10月,英偉達(dá)發(fā)布Eureka

2023年10月,英偉達(dá)在GTC 大會(huì)上發(fā)布了Eureka。Eureka是一個(gè)專注于機(jī)器人訓(xùn)練的 AI 系統(tǒng),主要功能是利用生成式 AI 和強(qiáng)化學(xué)習(xí)方法,自動(dòng)生成和優(yōu)化獎(jiǎng)勵(lì)函數(shù),以提高機(jī)器人的訓(xùn)練效率和性能。

圖片

Eureka 工作原理(圖片來(lái)源:英偉達(dá))

工作原理:Eureka以GPT - 4 大型語(yǔ)言模型為驅(qū)動(dòng),采用混合梯度架構(gòu) —— 外循環(huán)運(yùn)行 GPT - 4 來(lái)細(xì)化獎(jiǎng)勵(lì)函數(shù),內(nèi)循環(huán)運(yùn)行強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練機(jī)器人控制器。在上圖中,Eureka以未經(jīng)修改的環(huán)境源代碼和語(yǔ)言任務(wù)描述作為上下文,通過(guò)編碼大語(yǔ)言模型零樣本生成可執(zhí)行的獎(jiǎng)勵(lì)函數(shù)。隨后,該框架在獎(jiǎng)勵(lì)函數(shù)采樣、基于GPU加速的獎(jiǎng)勵(lì)評(píng)估以及獎(jiǎng)勵(lì)反思之間進(jìn)行迭代優(yōu)化,逐步提升獎(jiǎng)勵(lì)函數(shù)的輸出質(zhì)量。

應(yīng)用場(chǎng)景:Eureka 主要應(yīng)用于機(jī)器人的復(fù)雜任務(wù)訓(xùn)練,特別是那些需要精細(xì)控制和高級(jí)技能的任務(wù),如機(jī)器人的靈巧操作、復(fù)雜動(dòng)作的學(xué)習(xí)等。

參考論文

1. Voyager: An Open-Ended Embodied Agent with Large Language Models

2. Eureka: Human-Level Reward Design via Coding Large Language Models

 

2024年具身智能布局:英偉達(dá)發(fā)布通用基礎(chǔ)模型GR00T

6. 2024年2月,英偉達(dá)成立具身智能體研究實(shí)驗(yàn)室GEAR

2024年2月:英偉達(dá)成立通用具身智能體研究實(shí)驗(yàn)室(GEAR,Generalist Embodied Agent Research),由 Jim Fan 與 Yuke Zhu 領(lǐng)銜,致力于為虛擬和物理世界中的具身智能體構(gòu)建基礎(chǔ)模型,重點(diǎn)聚焦多模態(tài)基礎(chǔ)模型、通用型機(jī)器人模型、虛擬世界智能體及仿真合成數(shù)據(jù)四大研究領(lǐng)域。

7. 2024年3月,英偉達(dá)發(fā)布通用基礎(chǔ)模型Project GR00T

2024年3月:在GTC 開(kāi)發(fā)者大會(huì)上,英偉達(dá)發(fā)布人形機(jī)器人通用基礎(chǔ)模型 Project GR00T,其通過(guò)自然語(yǔ)言文本/語(yǔ)音理解以及對(duì)人類行為視頻和真人演示的模仿學(xué)習(xí),加速人形機(jī)器人學(xué)習(xí)協(xié)調(diào)各種技能,使其能夠適應(yīng)并與現(xiàn)實(shí)世界進(jìn)行互動(dòng)。

圖片

英偉達(dá)發(fā)布人形機(jī)器人通用基礎(chǔ)模型Project GR00T(圖片來(lái)源:英偉達(dá))

此外,據(jù)了解,英偉達(dá)還宣布與1X Technologies、Agility Robotics、Apptronik、Boston Dynamics、Figure AI、Sanctuary AI、宇樹(shù)科技、傅利葉智能和小鵬鵬行等多家人形機(jī)器人企業(yè)達(dá)成合作,共同聯(lián)合開(kāi)發(fā) “GR00T” 項(xiàng)目。

同時(shí),在大會(huì)上,英偉達(dá)還發(fā)布了專為人形機(jī)器人打造的計(jì)算平臺(tái)—— Jetson Thor,支持多模態(tài)AI模型并行計(jì)算(如視覺(jué)、語(yǔ)音、運(yùn)動(dòng)規(guī)劃)。

Thor SoC 芯片搭載基于 Blackwell 架構(gòu)的GPU,集成 Transformer 引擎,直接支持FP4(4位浮點(diǎn))和FP8(8位浮點(diǎn))運(yùn)算,顯著降低大規(guī)模Transformer模型(如GPT、BERT)的推理功耗與延遲。另外,GPU分為3個(gè)獨(dú)立集群,支持通過(guò)MIG技術(shù)靈活劃分計(jì)算資源,實(shí)現(xiàn)多任務(wù)并行與資源隔離。

在CPU與內(nèi)存性上,Thor SoC芯片配備14核CPU(含AE擴(kuò)展核心),性能達(dá)前代2.6倍,強(qiáng)化實(shí)時(shí)控制(如電機(jī)驅(qū)動(dòng)、傳感器融合)。內(nèi)存帶寬容量翻倍至128GB,帶寬達(dá)273GB/s,支持超大規(guī)模模型本地加載與高速數(shù)據(jù)吞吐。

此外,Jetson Thor還集成了功能安全島、多種傳統(tǒng)加速器,如 ISP、視頻編解碼器、視覺(jué)計(jì)算引擎(PVA)、光流加速器(OFA)等,提供跨加速器(PVA/OFA)的統(tǒng)一開(kāi)發(fā)框架 Vision Programming Interface(VPI),簡(jiǎn)化了設(shè)計(jì)和集成工作。

圖片

英偉達(dá)Thor SoC芯片架構(gòu)框圖(圖片來(lái)源:英偉達(dá))

此外,英偉達(dá)還宣布對(duì)機(jī)器人Isaac開(kāi)發(fā)平臺(tái)進(jìn)行了重要升級(jí):

1)推出新的基礎(chǔ)模型和相關(guān)工具

Isaac Manipulator :基于Isaac ROS 構(gòu)建,由NVIDIA CUDA加速庫(kù)、AI 模型和面向機(jī)器人開(kāi)發(fā)者的參考工作流組成。它旨在幫助機(jī)器人軟件開(kāi)發(fā)者構(gòu)建能夠感知、理解環(huán)境并與之交互的 AI 機(jī)器人手臂或操縱器,支持實(shí)現(xiàn)運(yùn)動(dòng)規(guī)劃、物體檢測(cè)以及姿態(tài)估計(jì)和跟蹤等功能。

圖片

NVIDIA Isaac Manipulator 工作原理(圖片來(lái)源:英偉達(dá))

Isaac Perceptor:基于Isaac ROS 構(gòu)建,是NVIDIA CUDA 加速庫(kù)、AI 模型和參考工作流的集合,用于開(kāi)發(fā)自主移動(dòng)機(jī)器人(AMR),為可靠的視覺(jué)測(cè)距和 3D 環(huán)繞視覺(jué)提供支持,用于障礙物檢測(cè)和占用率映射。旨在幫助AMR在倉(cāng)庫(kù)、工廠和戶外環(huán)境等非結(jié)構(gòu)化環(huán)境中進(jìn)行感知、定位和操作。

圖片

NVIDIA Isaac Perceptor工作原理(圖片來(lái)源:英偉達(dá))

2)強(qiáng)化仿真能力

Isaac Lab:是一個(gè)基于Isaac Sim 構(gòu)建的輕量級(jí)開(kāi)源框架,使用 NVIDIA PhysX 以及基于物理性質(zhì)的 NVIDIA RTX 渲染提供高保真物理模擬。它彌合了高保真模擬和基于感知的機(jī)器人訓(xùn)練之間的差距。同時(shí),它還專門針對(duì)機(jī)器人學(xué)習(xí)工作流進(jìn)行優(yōu)化,旨在簡(jiǎn)化機(jī)器人研究中的常見(jiàn)任務(wù),例如強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)和運(yùn)動(dòng)規(guī)劃。

圖片

NVIDIA Isaac Lab 架構(gòu)框圖(圖片來(lái)源:英偉達(dá))

OSMO:是一種云原生的工作流編排平臺(tái),用于在本地、私有云和公有云中擴(kuò)展復(fù)雜、多階段和多容器的機(jī)器人工作負(fù)載,有助于用戶在Isaac 平臺(tái)上編排、可視化和管理一系列機(jī)器人開(kāi)發(fā)任務(wù)。其中包括生成合成數(shù)據(jù)、訓(xùn)練模型、進(jìn)行強(qiáng)化學(xué)習(xí),以及為人形機(jī)器人、自主移動(dòng)機(jī)器人 (AMR) 和工業(yè)機(jī)械手實(shí)施軟件在環(huán)測(cè)試等。

圖片

NVIDIA OSMO 工作原理(圖片來(lái)源:英偉達(dá))

參考資料:

1. 深度揭秘NVIDIA 第三代計(jì)算機(jī)Jetson Thor

https://mp.weixin.qq.com/s/XnONhdCEjN3YC1Y9guSH1w

2. NVIDIA Isaac AI 機(jī)器人開(kāi)發(fā)平臺(tái)

https://developer.nvidia.cn/isaac

2025年具身智能布局:開(kāi)源人形機(jī)器人基礎(chǔ)模型

8. 2025年1月,英偉達(dá)推出 Cosmos和Isaac GR00T Blueprint

2025年1月, 在CES上,英偉達(dá)宣布推出世界基礎(chǔ)模型平臺(tái) Cosmos和合成運(yùn)動(dòng)生成工具 Isaac GR00T Blueprint。

1)世界基礎(chǔ)模型平臺(tái)Cosmos

NVIDIA Cosmos是英偉達(dá)推出的生成式世界基礎(chǔ)模型平臺(tái)。平臺(tái)集成了生成式世界基礎(chǔ)模型(WFM)、高級(jí)標(biāo)記器(Cosmos Tokenizer)、安全護(hù)欄系統(tǒng)(Guardrails)和加速視頻處理管道(NeMo Curator),幫助開(kāi)發(fā)者生成大量基于物理的合成數(shù)據(jù),減少對(duì)真實(shí)世界數(shù)據(jù)的依賴。

Cosmos 能接受文本、圖像或視頻的提示,生成高度仿真的虛擬世界狀態(tài),加速自動(dòng)駕駛和機(jī)器人的物理AI開(kāi)發(fā)。同時(shí),Cosmos 還提供了安全防護(hù)機(jī)制,確保數(shù)據(jù)的安全與合規(guī)。開(kāi)發(fā)者可以通過(guò)微調(diào) Cosmos 模型來(lái)創(chuàng)建定制化的AI模型,滿足特定的應(yīng)用需求。

該基礎(chǔ)世界模型借助2000萬(wàn)小時(shí)的機(jī)器人和自動(dòng)駕駛數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練,以生成基于物理的世界狀態(tài)。該模型包括一系列預(yù)訓(xùn)練多模態(tài)模型,開(kāi)發(fā)者可以開(kāi)箱即用,用于世界生成和推理,或進(jìn)行后訓(xùn)練以開(kāi)發(fā)專用的物理 AI 模型。

Cosmos Predict:是一種能夠通過(guò)文本、圖像和視頻等多模態(tài)輸入生成虛擬世界狀態(tài)的通用模型。它使用基于Transformer 的架構(gòu)構(gòu)建,支持多幀生成,在給定開(kāi)始和結(jié)束輸入圖像的情況下,可預(yù)測(cè)中間行為或運(yùn)動(dòng)軌跡。另外,該模型基于9000T機(jī)器人與自動(dòng)駕駛數(shù)據(jù)的token進(jìn)行訓(xùn)練,專為后訓(xùn)練而打造。

Cosmos Transfer:通過(guò)結(jié)構(gòu)化視覺(jué)或幾何數(shù)據(jù)輸入,如分割圖、深度圖、激光雷達(dá)掃描、姿態(tài)估計(jì)圖和軌跡圖等,以生成可控、逼真的視頻輸出。它采用ControlNet 架構(gòu),利用時(shí)空控制圖來(lái)動(dòng)態(tài)對(duì)齊合成和真實(shí)世界的表示,確保精確的空間對(duì)齊和場(chǎng)景構(gòu)成。它是一種世界到世界的遷移模型,旨在彌合模擬環(huán)境和真實(shí)世界環(huán)境之間的感知差異。

圖片

Cosmos Transfer工作原理(圖片來(lái)源:英偉達(dá))

Cosmos Reason:這是一款具備完全可定制的多模態(tài)推理模型,基于對(duì)空間和時(shí)間的理解而構(gòu)建,因此具有時(shí)空感知能力,使用思維鏈推理來(lái)理解視頻數(shù)據(jù),并能夠預(yù)測(cè)交互結(jié)果用于規(guī)劃響應(yīng)。另外,Cosmos Reason模型分為預(yù)訓(xùn)練、通用監(jiān)督微調(diào)(SFT)、和強(qiáng)化學(xué)習(xí)(RL)三個(gè)階段進(jìn)行訓(xùn)練,增強(qiáng)其在現(xiàn)實(shí)世界場(chǎng)景中推理、預(yù)測(cè)和響應(yīng)決策的能力。

NVIDIA Cosmos 應(yīng)用案例:合成數(shù)據(jù)生成(SDG)、策略模型初始化、策略模型評(píng)估和多視圖生成。

2)合成運(yùn)動(dòng)生成工具:Isaac GR00T Blueprint

Isaac GR00T Blueprint提供了一套完整的解決方案,包括機(jī)器人基礎(chǔ)模型、數(shù)據(jù)管道和仿真框架,為通用機(jī)器人的訓(xùn)練提供了一個(gè)數(shù)字孿生訓(xùn)練場(chǎng),可幫助開(kāi)發(fā)者生成海量的合成運(yùn)動(dòng)數(shù)據(jù),以便通過(guò)模仿學(xué)習(xí)來(lái)訓(xùn)練機(jī)器人。

圖片

Isaac GR00T Blueprint合成運(yùn)動(dòng)生成流程圖(圖片來(lái)源:英偉達(dá))

9. 2025年3月,英偉達(dá)推出人形機(jī)器人基礎(chǔ)模型 GR00T N1

2025年3月,在GTC開(kāi)發(fā)者大會(huì)上,英偉達(dá)推出全球首個(gè)開(kāi)源、可定制的通用人形機(jī)器人基礎(chǔ)模型 GR00T N1。

GR00T N1是一個(gè)視覺(jué)-語(yǔ)言-動(dòng)作(VLA)模型,采用雙系統(tǒng)架構(gòu)。“系統(tǒng)1”是基于擴(kuò)散變換器(DiT)的動(dòng)作模塊。它通過(guò)交叉注意力機(jī)制關(guān)注視覺(jué)語(yǔ)言模型(VLM)的輸出Tokens,并采用具身專用的編碼器和解碼器來(lái)處理可變維度的狀態(tài)與動(dòng)作,實(shí)現(xiàn)運(yùn)動(dòng)生成。它以更高的頻率(120Hz)生成閉環(huán)電機(jī)動(dòng)作。

“系統(tǒng)2”是基于視覺(jué)-語(yǔ)言模型(VLM)的推理模塊,在英偉達(dá)L40 GPU上以10Hz運(yùn)行,處理機(jī)器人的視覺(jué)感知和語(yǔ)言指令,以解釋環(huán)境并理解任務(wù)目標(biāo)。

“系統(tǒng)1”和“系統(tǒng)2”都是基于Transformer構(gòu)建的神經(jīng)網(wǎng)絡(luò),二者在訓(xùn)練過(guò)程中緊密耦合、聯(lián)合優(yōu)化,以實(shí)現(xiàn)推理與執(zhí)行的高效協(xié)同。

圖片

GR00T N1模型架構(gòu)示意圖

GR00T N1模型預(yù)訓(xùn)練所使用的數(shù)據(jù):真實(shí)機(jī)器人軌跡、合成數(shù)據(jù)以及人類視頻。

圖片

用于機(jī)器人基礎(chǔ)模型訓(xùn)練的“數(shù)據(jù)金字塔”

合作案例:1X Technologies、Agility Robotics、Boston Dynamics、傅利葉等機(jī)器人公司已接入GR00T N1,利用該基礎(chǔ)模型及其配套工具鏈開(kāi)發(fā)新一代機(jī)器人產(chǎn)品,并在不同的應(yīng)用場(chǎng)景中進(jìn)行落地實(shí)踐。

參考資料:

1. NVIDIA Cosmos 是什么?

https://www.nvidia.cn/ai/cosmos/

2. 論文:GR00T N1: An Open Foundation Model for Generalist Humanoid Robots

結(jié)語(yǔ)

英偉達(dá)在具身智能領(lǐng)域的布局,正以「底層算力驅(qū)動(dòng)者+ 開(kāi)發(fā)生態(tài)構(gòu)建者」的定位重塑具身智能機(jī)器人產(chǎn)業(yè)格局。其通過(guò)Jetson系列芯片提供高性能邊緣計(jì)算支持,結(jié)合 Isaac/Omniverse 開(kāi)發(fā)平臺(tái)與 GR00T 通用基礎(chǔ)大模型,構(gòu)建了從硬件到軟件的全棧技術(shù)閉環(huán)。

在戰(zhàn)略層面,英偉達(dá)通過(guò)投資Figure AI、與波士頓動(dòng)力等頭部企業(yè)合作,提前卡位人形機(jī)器人賽道。黃仁勛提出的“所有移動(dòng)的機(jī)器終將自主”愿景,正借助技術(shù)深度整合穩(wěn)步落地。例如,英偉達(dá)將Omniverse 數(shù)字孿生技術(shù)、Cosmos物理世界模型與 Isaac Sim 仿真框架有機(jī)結(jié)合,構(gòu)建起完備的物理 AI 體系。這一體系支持機(jī)器人在虛擬環(huán)境中完成行為驗(yàn)證與能力迭代,最終實(shí)現(xiàn)從虛擬到現(xiàn)實(shí)場(chǎng)景的無(wú)縫遷移,大幅提升具身智能機(jī)器人開(kāi)發(fā)效率與應(yīng)用適配性。

在商業(yè)化層面,英偉達(dá)憑借硬件標(biāo)準(zhǔn)化與軟件生態(tài)開(kāi)放策略,吸引產(chǎn)業(yè)鏈上下游協(xié)同,加速構(gòu)建行業(yè)標(biāo)準(zhǔn)。從亞馬遜物流場(chǎng)景與豐田制造場(chǎng)景優(yōu)化,再到與微軟、OpenAI 開(kāi)展投資合作,英偉達(dá)正通過(guò)以“算力+模型+工具”三位一體的模式,逐步確立自身在具身智能時(shí)代核心基礎(chǔ)設(shè)施供應(yīng)商的地位。

       原文標(biāo)題 : 2018~2025:英偉達(dá)在具身智能機(jī)器人領(lǐng)域的關(guān)鍵布局詳解

聲明: 本文由入駐維科號(hào)的作者撰寫,觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問(wèn)題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

    掃碼關(guān)注公眾號(hào)
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯(cuò)
    x
    *文字標(biāo)題:
    *糾錯(cuò)內(nèi)容:
    聯(lián)系郵箱:
    *驗(yàn) 證 碼:

    粵公網(wǎng)安備 44030502002758號(hào)