系列文章目錄

---

前言

Isaac 機(jī)器人平臺(tái)現(xiàn)可為開發(fā)者提供全新的機(jī)器人訓(xùn)練仿真器、Jetson Thor 機(jī)器人計(jì)算機(jī)、生成式 AI 基礎(chǔ)模型和由 CUDA 加速的感知和操作庫。

---

美國(guó)加利福尼亞州圣何塞 —— GTC —— 太平洋時(shí)間 2024 年 3 月 18 日?——?NVIDIA 于今日發(fā)布人形機(jī)器人通用基礎(chǔ)模型 Project GR00T，旨在進(jìn)一步推動(dòng)其在機(jī)器人和具身智能方面的突破。

NVIDIA 還發(fā)布了一款基于 NVIDIA Thor 系統(tǒng)級(jí)芯片（SoC）的新型人形機(jī)器人計(jì)算機(jī) Jetson Thor，并對(duì) NVIDIA Isaac? 機(jī)器人平臺(tái)進(jìn)行了重大升級(jí)，包括生成式 AI 基礎(chǔ)模型和仿真工具，以及 AI 工作流基礎(chǔ)設(shè)施。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“開發(fā)通用人形機(jī)器人基礎(chǔ)模型是當(dāng)今 AI 領(lǐng)域中最令人興奮的課題之一。世界各地的機(jī)器人技術(shù)領(lǐng)導(dǎo)者正在匯集各種賦能技術(shù)，致力于在人工通用機(jī)器人領(lǐng)域?qū)崿F(xiàn)突破?！?/p>

GR00T 驅(qū)動(dòng)的機(jī)器人（代表通用機(jī)器人 00 技術(shù)）將能夠理解自然語言，并通過觀察人類行為來模仿動(dòng)作——快速學(xué)習(xí)協(xié)調(diào)、靈活性和其它技能，以便導(dǎo)航、適應(yīng)現(xiàn)實(shí)世界并與之互動(dòng)。在?GTC 大會(huì)的主題演講中，NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛展示了數(shù)臺(tái)這樣的機(jī)器人是如何完成各種任務(wù)的。

專為人形機(jī)器人打造

Jetson Thor 是一個(gè)全新的計(jì)算平臺(tái)，能夠執(zhí)行復(fù)雜的任務(wù)并安全、自然地與人和機(jī)器交互，具有針對(duì)性能、功耗和尺寸優(yōu)化的模塊化架構(gòu)。

該 SoC 包括一個(gè)帶有 transformer engine 的下一代 GPU，其采用?NVIDIA Blackwell 架構(gòu)，可提供每秒 800 萬億次8位浮點(diǎn)運(yùn)算 AI 性能，以運(yùn)行 GR00T 等多模態(tài)生成式 AI 模型。憑借集成的功能安全處理器、高性能 CPU 集群和 100GB 以太網(wǎng)帶寬，大大簡(jiǎn)化了設(shè)計(jì)和集成工作。

NVIDIA 正在為領(lǐng)先的人形機(jī)器人公司開發(fā)一個(gè)綜合的 AI 平臺(tái)，如 1X Technologies、Agility Robotics、Apptronik、波士頓動(dòng)力公司、Figure AI、傅利葉智能、Sanctuary AI、宇樹科技和小鵬鵬行等。

Agility Robotics 聯(lián)合創(chuàng)始人兼首席機(jī)器人官 Jonathan Hurst 表示：“我們正處于歷史的轉(zhuǎn)折點(diǎn)，像 Digit 這樣以人為中心的機(jī)器人將永遠(yuǎn)改變勞動(dòng)力市場(chǎng)。現(xiàn)代 AI 將加速發(fā)展，為 Digit 這樣的機(jī)器人鋪平道路，在日常生活的各個(gè)方面幫助人類。我們很高興能與 NVIDIA 合作，投資于計(jì)算、仿真工具、機(jī)器學(xué)習(xí)環(huán)境和其他必要的基礎(chǔ)設(shè)施，讓機(jī)器人真正融入人們的日常生活?！?/p>

Sanctuary AI 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Geordie Rose 表示：“具身智能不僅有助于解決人類面臨的一些最大挑戰(zhàn)，還將創(chuàng)造目前超出我們能力范圍或想象的創(chuàng)新。如此重要的技術(shù)不應(yīng)該建立在孤島之上，這就是為什么我們非常重視像 NVIDIA 這樣的長(zhǎng)期合作伙伴。”

Isaac 平臺(tái)的重大更新

GR00T 使用的 Isaac 工具還能夠?yàn)樵谌魏苇h(huán)境中的任何機(jī)器人創(chuàng)建新的基礎(chǔ)模型。這些工具包括用于強(qiáng)化學(xué)習(xí)的?Isaac Lab?和用于計(jì)算編排服務(wù)的?OSMO。

訓(xùn)練具身智能模型需要海量的真實(shí)數(shù)據(jù)和合成數(shù)據(jù)。新的 Isaac Lab 是一個(gè) GPU 加速、性能優(yōu)化的輕量級(jí)應(yīng)用，基于 Isaac Sim 而構(gòu)建，專門用于運(yùn)行數(shù)千個(gè)用于機(jī)器人學(xué)習(xí)的并行仿真。

為了擴(kuò)展異構(gòu)計(jì)算的機(jī)器人開發(fā)工作負(fù)載，OSMO 在分布式環(huán)境中協(xié)調(diào)數(shù)據(jù)生成、模型訓(xùn)練和軟硬件在環(huán)工作流。

NVIDIA?還發(fā)布了 Isaac Manipulator 和 Isaac Perceptor?等一系列機(jī)器人預(yù)訓(xùn)練模型、庫和參考硬件。

Isaac Manipulator?為機(jī)械臂提供了卓越的靈活性和模塊化 AI 功能，并提供了一系列強(qiáng)大的基礎(chǔ)模型和 GPU 加速庫。它提供了高達(dá) 80 倍的路徑規(guī)劃加速，零樣本感知提高了效率和吞吐量，使開發(fā)者能夠?qū)崿F(xiàn)更多新的機(jī)器人任務(wù)的自動(dòng)化。早期生態(tài)系統(tǒng)合作伙伴包括安川電機(jī)、泰瑞達(dá)旗下子公司優(yōu)傲、PickNik Robotics、Solomon、READY Robotics 和 Franka Robotics。

Isaac Perceptor?提供了多攝像頭和 3D 環(huán)繞視覺功能，這些功能正越來越多地被制造業(yè)和物流業(yè)中的自主移動(dòng)機(jī)器人所采用，以提高效率和更好地保護(hù)工人，同時(shí)降低錯(cuò)誤率和成本。早期采用者包括 ArcBest、比亞迪和凱傲集團(tuán)等，它們的目標(biāo)是為物料搬運(yùn)等操作帶來新的自主化水平。

新的 Isaac 平臺(tái)功能將在下個(gè)季度推出。了解有關(guān)?Project GR00T?的更多信息。

英偉達(dá)項(xiàng)目 GR00T
通用機(jī)器人 00 技術(shù)
GR00T 是一種通用基礎(chǔ)模型，有望改變仿真和現(xiàn)實(shí)世界中的人形機(jī)器人學(xué)習(xí)。經(jīng)過英偉達(dá)?（NVIDIA?）GPU加速仿真訓(xùn)練，GR00T能夠讓人形機(jī)器人通過模仿學(xué)習(xí)和英偉達(dá)?（NVIDIA?）Isaac實(shí)驗(yàn)室進(jìn)行強(qiáng)化學(xué)習(xí)，并從視頻數(shù)據(jù)中生成機(jī)器人動(dòng)作。GR00T 模型將多模態(tài)指令和過去的互動(dòng)作為輸入，并生成機(jī)器人要執(zhí)行的動(dòng)作。

請(qǐng)?jiān)谙路阶?cè)，以獲得有關(guān) GR00T 項(xiàng)目可用性的通知。

?

機(jī)器人學(xué)習(xí)和擴(kuò)展開發(fā)工作負(fù)載
我們開發(fā)了 NVIDIA Isaac Lab 來大規(guī)模訓(xùn)練 GR00T，并構(gòu)建了 NVIDIA OSMO，這是一種計(jì)算協(xié)調(diào)服務(wù)，可在用于訓(xùn)練的 NVIDIA DGX 系統(tǒng)、用于仿真的 NVIDIA OVX 系統(tǒng)以及用于硬件在環(huán)驗(yàn)證的 NVIDIA IGX 和 NVIDIA AGX 系統(tǒng)之間協(xié)調(diào)訓(xùn)練和推理工作流。

英偉達(dá)?（NVIDIA?）Isaac Manipulator
Isaac Manipulator 是一系列基礎(chǔ)模型和模塊化 GPU 加速庫，通過加速人工智能模型訓(xùn)練和任務(wù)（重新）編程，幫助為動(dòng)態(tài)操縱任務(wù)構(gòu)建可擴(kuò)展、可重復(fù)的工作流程。它將徹底改變機(jī)器人軟件開發(fā)人員如何利用定制軟件組件完成特定任務(wù)的方式，如機(jī)器護(hù)理、裝配任務(wù)等，使操縱臂能夠無縫感知周圍環(huán)境并與之互動(dòng)。

在下方注冊(cè)，即可獲得開發(fā)人員預(yù)覽版的通知。

?

?

?為機(jī)器人增添新的智能?
Isaac Manipulator 為機(jī)械臂帶來了新的靈巧性和模塊化人工智能功能，這些機(jī)械臂在處理復(fù)雜任務(wù)和動(dòng)態(tài)環(huán)境時(shí)受到限制，因?yàn)樗鼈兊倪m應(yīng)性有限，而且每遇到新情況都要手動(dòng)重新執(zhí)行任務(wù)。

?高精度和高性能模塊
訪問一系列先進(jìn)的模塊化軟件包，用于無摩擦運(yùn)動(dòng)學(xué)、人工智能感知、工業(yè)機(jī)械臂的操縱以及即時(shí)創(chuàng)建端到端工作流程。

加速機(jī)器人運(yùn)動(dòng)生成?
帶有 MoveIt 擴(kuò)展功能的 NVIDIA cuMotion 可讓您實(shí)現(xiàn)自定義算法模塊，而無需大量流水線開銷。

更快的開發(fā)時(shí)間?
預(yù)訓(xùn)練基礎(chǔ)模型可估算和跟蹤物體姿勢(shì)、預(yù)測(cè)理想抓取點(diǎn)、運(yùn)行機(jī)械臂軌跡優(yōu)化等，從而加快機(jī)器人任務(wù)的實(shí)施。

英偉達(dá)?（NVIDIA?）Isaac 感知器
NVIDIA Isaac? Perceptor 是一套用于視覺人工智能的硬件加速軟件包，專為自主移動(dòng)機(jī)器人 (AMR) 量身定制，用于在非結(jié)構(gòu)化環(huán)境中進(jìn)行感知、定位和穩(wěn)健操作。機(jī)器人軟件開發(fā)人員現(xiàn)在可以輕松獲得基于人工智能的整套感知能力，確保在復(fù)雜場(chǎng)景中可靠運(yùn)行和障礙物檢測(cè)。

請(qǐng)?jiān)谙路阶?cè)，以獲得有關(guān) Isaac Perceptor 上市的通知。

主要優(yōu)勢(shì)
由于倉庫操作和工廠生產(chǎn)線固有的多變性，AMR 環(huán)境帶來了獨(dú)特的挑戰(zhàn)。這些挑戰(zhàn)包括特定任務(wù)的復(fù)雜性，如裝載和卸載。人工智能（AI）可通過基于 ROS 2 的 Isaac Perceptor 提供的先進(jìn) 3D 感知能力來解決這些復(fù)雜問題。 這種組合可確保最佳性能和模塊化，滿足您的特定需求。

針對(duì)移動(dòng)機(jī)器人進(jìn)行全面優(yōu)化
英偉達(dá)?（NVIDIA?）解決方案專為自主叉車和各種工業(yè)移動(dòng)機(jī)器人定制。它們配備了強(qiáng)大的視覺里程計(jì)和 3D 環(huán)繞視覺，可用于障礙物檢測(cè)和占用地圖繪制。

可擴(kuò)展傳感器架構(gòu)?
利用業(yè)內(nèi)首個(gè)可擴(kuò)展架構(gòu)，可安裝 1 到 8 個(gè)攝像頭，并在所有攝像頭和慣性測(cè)量單元 (IMU) 之間實(shí)現(xiàn)時(shí)間同步。

部署就緒?
Isaac Perceptor預(yù)集成了經(jīng)過廣泛測(cè)試的移動(dòng)機(jī)器人子圖，確保與現(xiàn)有軟件棧和機(jī)器人無縫集成。

?

Nova Orin 開發(fā)套件
這款功能強(qiáng)大的計(jì)算和傳感器平臺(tái)旨在幫助機(jī)器人原始設(shè)備制造商和軟件公司加快 AMR 的開發(fā)和部署。主要功能包括

精確的多傳感器時(shí)間同步，傳感器數(shù)據(jù)采集時(shí)間小于 100us

用于在機(jī)器人上進(jìn)行評(píng)估的文檔和軟件

傳感器參考模型（在 NVIDIA Isaac Sim? 中），用于仿真開發(fā)

?

新星卡特
這款先進(jìn)的參考機(jī)器人已組裝完畢，可與 Isaac Perceptor 一起使用。它包括一個(gè)英偉達(dá)?（NVIDIA）Jetson AGX Orin?系統(tǒng)模塊，計(jì)算能力高達(dá)275 TOPS，并使用激光雷達(dá)和一組立體攝像頭進(jìn)行環(huán)繞感知、繪圖和導(dǎo)航。該機(jī)器人經(jīng)過校準(zhǔn)和測(cè)試，開箱即可使用，為您提供了寶貴的時(shí)間來創(chuàng)新新特性和新功能。

Nova Carter非常適合收集數(shù)據(jù)，用于繪制倉庫或工廠等測(cè)試區(qū)域的地圖。處理后的數(shù)據(jù)可以部署到卡特中，以實(shí)現(xiàn)完全自主。

?