1. 首頁 > 科技 > >

鄭州|使用Unity創造并快速訓練數字孿生機器人

鄭州|使用Unity創造并快速訓練數字孿生機器人
文章圖片
鄭州|使用Unity創造并快速訓練數字孿生機器人
文章圖片

人工智能系列項目展示了創作者使用Unity制作的一系列人工智能項目 ， 項目涉及人工智能產品 。 本案例中展示了最近使用Unity為OpenCV空間人工智能競賽制作的一個項目的一些實用資料 ， 該項目以一系列令人印象深刻的例子展示了Unity中的機器人技術、計算機視覺、強化學習和增強現實等功能 。
Unity是世界一流的實時3D引擎 。 雖然Unity的游戲引擎和工具傳統上只支持游戲開發者 ， 但AI@Unity團隊正在圍繞機器學習、計算機視覺和機器人模擬等領域構建全新的工具 ， 以支持游戲以外的應用 ， 尤其是那些使用人工智能和實時3D環境的應用 。
在OpenCV空間人工智能競賽中Gerard Espona和KaudaTeam提供了多個案例作品 ， 他們大量使用了Unity的人工智能工具和軟件包 。 團隊通過使用Unity的感知包訓練計算機視覺模型并通過移動代理工具包來訓練他們的機器學習模型 ， 此外他們還做出一個機器人手臂的模擬演示案例 。
OpenCV計劃
KaudaTeam名字的由來
Kauda Team由Giovanni Lerda和Gerard Espona兩名成員組成 ， 名字來自Giovanni創建的免費開源桌面大小的3D打印5軸機械臂——Kauda 。 這是一個非常棒的桌面機器臂 ， 任何人都可以使用 ， 且允許他們在項目上遠程合作 。
Kauda機械臂
如何在Unity獲得Kauda機械臂的數字孿生
【鄭州|使用Unity創造并快速訓練數字孿生機器人】Giovanni Lerda和Gerard Espon開發了Kauda工作室 ， 這是一個Unity的應用程序 ， 目的是為了生成Kauda的數字孿生 。 它通過反向運動學（IK）控制、USB/藍牙連接到真實的Kauda ， 提供了功能齊全且精確的Kauda機械臂模擬 ， 并可以支持多個OpenCV OAK-D相機 。
OAK-D相機是什么 ， 它是如何與Unity一起使用的？
OAK-D相機結合了兩個立體深度相機和一個帶有板載處理功能的4K彩色相機（由英特爾MyriadX VPU提供） ， 可自動處理各種情況 。 作為競賽作品 ， Kauda Team為OAK設備構建了一個Unity插件 ， 但他們也想在Unity中創造出一個數字孿生設備 。 OAK-D Unity數字孿生相機為他們提供了幫助 ， 這是一部具有精確模擬功能的3D虛擬相機 ， 可用于合成數據收集 。 OAK-D Unity數字孿生相機幫助他們將虛擬圖像輸入到真實設備的管道中 。 讓他們通過使用Unity感知包來收集合成素材 ， 并用于為虛擬OAK-D相機訓練定制項目 。
OAK-D相機中的Unity模型
在Unity中擁有一個數字孿生模型的優勢
擁有一個數字孿生讓Gerard Espon能夠在Kauda上啟用額外的功能 。 他們還能夠使用Unity的增強現實（AR）功能與現實世界中的虛擬機器人進行交互 。 其中的一個應用是學習如何在不需要機器人的情況下對機器人進行維護 。 這也允許他們用無代碼方法編程順序任務 ， 使機器臂精確的完成任務 。
數字孿生還能使他們對機械臂進行強化學習（RL）訓練 。 RL是一個耗時的過程 ， 除了極其簡單的案例之外 ， 任何事情都需要模擬 。 為此Kauda Team在Unity中使用了ML-agent工具包來執行RL訓練以對機械臂進行訓練與控制 。
Kauda Team還在Unity中測試了人機協作和安全程序 ， 他們在Unity中創建了數字孿生機械臂 ， 并使用攝像頭測量人類在機械臂區域內的位置 。 可以想象這樣做是為了那些更大型的機器人 ， 當程序錯誤發生時 ， 它會對人類造成傷害 。 模擬環境讓他們可以在不危及人類安全的情況下測試這些場景 。

相關經驗推薦