NVIDIA Research 正在開發新學習引擎 可使用基本 2D 影像建立 3D 模型

(GNN 記者 Jessica 報導) 2021-04-19 14:47:32

  NVIDIA Research 正在開發一款新學習引擎,可以使用基本的 2D 影像來建立 3D 物件模型,並且能夠在 NVIDIA Omniverse 中將影集《霹靂遊俠》裡那輛人工智慧(AI)霹靂車 KITT 這類極為經典的車輛化為現實。
 

【以下內容為廠商提供資料原文】

 
  • image
 
  由位在多倫多的 NVIDIA AI Research Lab 開發的 GANverse3D 應用程式,能將平面影像打造成逼真的 3D 模型,並且可以在虛擬環境中進行視覺化的呈現和控制。這項功能可以幫助建築師、創作者、遊戲開發者和設計師輕鬆地在他們的模型中加入新的物件,無需 3D 建模方面的專業知識,也不用花費大筆預算進行渲染。
 
  舉例來說,將一張汽車的照片變成一個 3D 模型,這個模型可以在虛擬場景中行駛,車上還配有逼真的頭燈、尾燈和方向燈。
 
  • image
 
  為了產生訓練用的資料集,研究人員利用生成對抗網路(GAN)來合成從多個視角描繪同一物件的影像,就像攝影師圍繞一輛停放的車子走動,並從不同的角度進行拍攝。這些多視角影像被插入一個用於製作反影像的渲染框架中,這便是從 2D 影像推論出 3D 網格模型的過程。
 
  使用多視角影像進行訓練後,GANverse3D 只需要一張 2D 影像便能預測出一個 3D 網格模型。此模型可以搭配 3D 神經網路渲染器,讓開發人員可以控制自訂物件和背景交換。
 
  如果將 GANverse3D 當作 NVIDIA Omniverse 平台的擴充項目進行匯入,並且在 NVIDIA RTX GPU 上運行,便能透過 GANverse3D 把任何 2D 影像重新打造成 3D 物件,例如將 1980 年代熱門電影影集《霹靂遊俠》中,那輛深受觀眾喜愛、協助主角打擊犯罪的經典汽車 KITT。
 
  過去用於製作反影像的模型將 3D 形狀作為訓練資料。
 
  NVIDIA 研究科學家、同時也是這項研究的主要發起人 Wenzheng Chen 表示:「現在無需使用 3D 資產,我們便能將一個 GAN 模型變成一個超高效率的資料生成器,如此一來就能使用網路上的任何 2D 影像來建立 3D 物件。」
 
  NVIDIA 研究人員且同為這項研究的發起人 Jun Gao 表示:「由於我們訓練使用的是真實影像,而非依賴合成資料的一般訓練管道,因此,所打造出來的人工智慧模型更適用於實際的應用程式。」
 
  NVIDIA 將在接下來的兩場會議上發表 GANverse3D 背後的研究成果,分別為五月的國際學習表徵會議(International Conference on Learning Representations; ICLR)與六月的國際電腦視覺與模式識別會議(Conference on Computer Vision and Pattern Recognition; CVPR)。
 

從平面影像到立體的 KITT

 
  遊戲、建築與設計領域的創作者,使用像 NVIDIA Omniverse 模擬與協作平台這樣的虛擬環境來測試新的想法,並且在打造最終產品前,以視覺化的方式呈現原型。開發人員透過 Omniverse Connectors,便能在 Omniverse 中使用他們喜愛的 3D 應用程式,以即時光線追蹤技術來模擬複雜的虛擬世界。
 
  不是每個創作者都有足夠的時間和資源為他們繪製的每個物體建立 3D 模型。渲染一台展示間裡的汽車或街道上的建築物,所需捕捉的多視角影像成本可能會令人望之卻步。
 
  這正是經過訓練的 GANverse3D 應用程式可以派上用場的地方,將一輛汽車、一棟建築物,甚至一匹馬的標準影像,變成可以在 Omniverse 中進行自訂及製作動畫的 3D 物件。
 
  研究人員為了重建霹靂車 KITT,將汽車影像丟進訓練好的模型,讓 GANverse3D 預測出相應的 3D 紋理網格,還有車輪和頭燈等各種車輛零件。他們接著使用 NVIDIA Omniverse Kit 和 NVIDIA PhysX 工具,將預測出的紋理變成高品質的材料,讓霹靂車 KITT 的外觀和感受更加真實,並將其置於動態的駕駛序列中。
 
  NVIDIA 深度學習工程師 Jean-Francois Lafleche 表示:「Omniverse 讓研究人員可以將令人興奮的先進研究成果,直接帶給創作者和終端用戶。在 Omniverse 中提供 GANverse3D 擴充項目,藝術家們將能為遊戲開發、城市規劃,甚至是訓練新的機器學習模型,創造更豐富的虛擬世界。」
 

GAN 推動維度轉變

 
  從不同角度捕捉同一物體的實體資料集實屬罕見,通常是使用 ShapeNet 等合成 3D 資料集來訓練大多數將影像從 2D 轉成 3D 的 AI 工具。
 
  為了從網路上的公開汽車影像等實體資料獲得多視角影像,NVIDIA 的研究人員改為使用 GAN 模型,在神經網路層進行操作,將其變成一個資料生成器。
 
  研究團隊發現打開神經網路的前四層與凍結剩下的十二層,會使得 GAN 從不同視角渲染同一物體的影像。
 
  凍結前四層和變動其它的十二層,神經網路會從同一個視角產生不同影像。研究人員手動分配標準視角,在特定高度和相機距離下拍攝車輛,便能從單個 2D 影像中快速產生出多視角資料集。
 
  最終使用 GAN 所產生出的 55,000 張汽車影像而訓練出的模型,表現優於使用熱門 Pascal3D 資料集所訓練出的反影像網路。

標籤:

#nvidia

載入中...

延伸報導

NVIDIA DLSS 支援《心靈殺手 2:湖邊小屋》《地平線:零之曙光 Remastered》等
3C | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
0
NVIDIA 貢獻 Blackwell 平台設計供開放式硬體生態系使用 加速推動 AI 基礎設施創新
產業 | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
0
《幽影對決》、《星際大戰:亡命之徒》和《Supermoves》等遊戲上市時即支援 DLSS
PC | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
0
【GC 24】NVIDIA與《Mecha BREAK》、完美世界展示數位人語言模型 幫助NPC對話更生動
產業 | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
10
NVIDIA 與 Xbox 合作讓 GeForce 玩家可獲得三個月免費 PC Game Pass
產業 | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
43
NVIDIA 發表價格低於 100 美元的廉價版 3D Vision 有線立體眼鏡
PC | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
27
Unreal Engine 3 遊戲進入 3D 世界! NVIDIA 3D Vision 將支援 UE3
PC | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
16
NVIDIA 宣布 GeForce 驅動程式將不再提供「3D Vision」的支援
PC | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
55
NVIDIA 發表第 2 代 3D Vision 產品 提供更清晰明亮 3D 顯示品質
PC | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
6
NVIDIA 於 SIGGRAPH 展出支援 3D 立體顯示的頭戴光場顯示器研發成果
PC | 硬體技術
88
NVIDIA 發表下一代 GPU「Pascal」 採用 3D 記憶體提供 TB 級頻寬
PC | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
39
NVIDIA 發表 3 款筆電用 GeForce GTX 10 系列顯示卡 大幅提升筆電 3D 繪圖效能
PC | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
57
NVIDIA 公開 AI 研究成果 藉由 AI 自動學習與繪製創造 3D 環境
PC | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
37
《狂彈風暴》正式開火 內建 NVIDIA 3D Vision 打造 3D 遊戲體驗
其他 | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
2
NVIDIA 藉由「In the NVIDIA Studio」介紹 3D 遊戲環境藝術家等創作者作品與技術
3C | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
6
Shutterstock 與 NVIDIA 合作為生成式 3D 藝術工具建立人工智慧基礎 可用文字轉換成 3D 內容
產業 | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
1
NVIDIA 在台北國際電腦展展示 3D PC 希望將 3D 娛樂帶入家庭
PC | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
13
NVIDIA 宣布將推出 NVIDIA RTX 直播引擎 強調透過 AI 讓 Twitch 直播更方便
PC | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
61
Unity 在遊戲引擎中以原生方式加入支援 NVIDIA DLSS
活動 | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
18
【CJ 16】Nvidia 展出 R2D2、足球機台等改裝造型主機
活動 | NVIDIA GPU 繪圖處理器 繪圖晶片 晶片組
4