Nvidia公司正在擴(kuò)大其機(jī)器人和人工智能的工具，通過改進(jìn)開發(fā)者和工程師用來訓(xùn)練和部署工廠、辦公室和城市中的自主機(jī)器的平臺(tái)，為其提供動(dòng)力。

在今年的GTC 2023（該公司的虛擬開發(fā)者大會(huì)）上，Nvidia說Omniverse Cloud將托管在微軟Azure上，這將增加對(duì)Isaac Sim的訪問，該公司的虛擬訓(xùn)練環(huán)境用于開發(fā)和管理基于AI的機(jī)器人。該公司還宣布了基于Jetson Orin的模塊的完整生產(chǎn)線，這些模塊是強(qiáng)大的人工智能機(jī)器人平臺(tái)--基本上是作為邊緣人工智能計(jì)算平臺(tái)的機(jī)器人 "大腦"。

"世界上最大的行業(yè)都在制造實(shí)物，但他們希望以數(shù)字方式建造它們。"Nvidia創(chuàng)始人兼首席執(zhí)行官黃仁勛說："Omniverse是一個(gè)工業(yè)數(shù)字化的平臺(tái)，它連接了數(shù)字和物理。"

Isaac Sim在Nvidia Omniverse上運(yùn)行，這是一種強(qiáng)大的元空間模擬技術(shù)，可以創(chuàng)建現(xiàn)實(shí)世界的數(shù)字雙胞胎，因此機(jī)器人開發(fā)人員可以重新創(chuàng)建機(jī)器人將要操作的空間和情況。在現(xiàn)實(shí)世界中建造和管理機(jī)器人意味著從頭開始攝取和創(chuàng)建巨大的數(shù)據(jù)集，這可能是極其沉重的負(fù)擔(dān)。

Azure上的Omniverse云提供了對(duì)強(qiáng)大的Nvidia OVX服務(wù)器的訪問，該服務(wù)器專門為機(jī)器人模擬設(shè)計(jì)，以使機(jī)器人工作流程的開發(fā)更快、更容易。它還配備了大量的工具，允許團(tuán)隊(duì)在訓(xùn)練環(huán)境方面進(jìn)行合作，緩解機(jī)器人訓(xùn)練數(shù)據(jù)、模擬、驗(yàn)證和部署人工智能。

銜接物理與數(shù)字，Nvidia在Jetson Orin模塊陣容中推出了最新的邊緣計(jì)算AI平臺(tái)，推出了新的Jetson Orin Nano開發(fā)者套件。新套件比上一代Jetson Nano強(qiáng)大得多，主要針對(duì)希望創(chuàng)建人工智能驅(qū)動(dòng)的機(jī)器人、智能無人機(jī)、智能視覺系統(tǒng)等的開發(fā)者。

Nvidia Jetson Orin系列模塊旨在支持網(wǎng)絡(luò)邊緣廣泛的AI機(jī)器人、機(jī)器和自動(dòng)化功能。它們建立在Nvidia Ampere芯片上，支持任何應(yīng)用的各種AI模型。基于Orin的芯片能夠從入門級(jí)的Jetson Orin Nano的每秒40萬億次人工智能操作運(yùn)行到Jetson AGX Orin的每秒275萬億次操作，用于自動(dòng)駕駛車輛等高級(jí)解決方案。

Nvidia表示，Jetson已被6000多家客戶和100多萬名開發(fā)者使用，其中包括亞馬遜網(wǎng)絡(luò)服務(wù)公司、佳能公司、思科系統(tǒng)公司、現(xiàn)代機(jī)器人有限公司、約翰迪爾公司、特雷弗公司和美國(guó)國(guó)家航空航天局。Ltd.、John Deere、Teradyne Inc.和TK Elevator。采用基于Orin的新模塊的公司包括現(xiàn)代 Doosan Infracore Co.Ltd.、Verdant Robotics、以及無人機(jī)公司Skydio Inc.和Zipline Inc.

將所有這些放在一起，Nvidia宣布擴(kuò)大Metropolis生態(tài)系統(tǒng)和支持計(jì)算機(jī)視覺人工智能的技術(shù)，包括為開發(fā)者提供TAO工具包5.0；更新用于構(gòu)建計(jì)算機(jī)視覺應(yīng)用程序的Deepstream軟件開發(fā)工具包；以及早期訪問Metropolis微服務(wù)。

TAO工具包是一個(gè)低代碼的人工智能框架開發(fā)工具包，協(xié)助任何開發(fā)者在任何服務(wù)和任何設(shè)備上快速創(chuàng)建人工智能模型。隨著TAO 5.0的推出，Nvidia正在增加一系列功能，包括視覺轉(zhuǎn)換器的預(yù)訓(xùn)練模型，通過ONNX導(dǎo)出在任何平臺(tái)上部署的能力，通過AutoML和AI輔助數(shù)據(jù)分類或注釋的自動(dòng)調(diào)整。

使用TAO，開發(fā)者可以快速潛入數(shù)據(jù)，幾乎不需要編碼，讓它快速對(duì)看到的東西進(jìn)行分類。它可以使用預(yù)訓(xùn)練的模型來訓(xùn)練和分類視覺任務(wù)，如人員檢測(cè)、車輛分類、姿態(tài)估計(jì)和物體估計(jì)。通過數(shù)據(jù)增強(qiáng)，模型可以通過迭代進(jìn)行修剪和微調(diào)，直到它們以工程師需要的方式工作，然后再準(zhǔn)備進(jìn)行行業(yè)整合和部署。

Nvidia DeepStream軟件開發(fā)工具包正在通過更新幫助開發(fā)者制作下一代視覺AI而將其提升到新的水平。DeepStream允許開發(fā)者從基于管道的開源GStreamer框架產(chǎn)生的視頻流中迅速產(chǎn)生計(jì)算機(jī)視覺AI。然而，最近的更新允許開發(fā)者創(chuàng)建自己的基于圖形的低代碼人工智能視覺管道，而不需要流媒體框架。

DeepStream現(xiàn)在還可以帶來更多的視覺效果。它還可以處理來自其他傳感器的信息，如激光雷達(dá)和雷達(dá)，以及環(huán)境和過程與傳感器融合。這將允許在各行業(yè)中出現(xiàn)一系列潛在的基于計(jì)算機(jī)視覺的新人工智能應(yīng)用，例如將其用于質(zhì)量控制和需要識(shí)別緊張的調(diào)度需求或環(huán)境中的其他變化的自主機(jī)器。

最后，當(dāng)大范圍內(nèi)有多個(gè)攝像頭時(shí)，這可能會(huì)給視覺AI帶來問題，但Nvidia對(duì)此有一個(gè)解決方案。它被稱為Metropolis Microservices，是一個(gè)用于視覺AI應(yīng)用的云原生微服務(wù)參考框架。它允許開發(fā)者使用多個(gè)攝像頭在大范圍內(nèi)迅速傳播感知，并將它們焊接成一個(gè)單一的理解，供人工智能使用，以創(chuàng)建多攝像頭跟蹤應(yīng)用程序。

這有大量的應(yīng)用，例如在整個(gè)工廠車間，有大量的攝像頭觀察產(chǎn)品在眾多的傳送帶上移動(dòng)，在體育場(chǎng)，人們?cè)谧呃壬闲凶?，以控制擁堵，在零售商店，貨架上有攝像頭，以控制庫存，以及智能城市，試圖更好地了解交通。