透過一張照片,就能自動算出經典『霹靂車』的 3D 影像。
機器學習/深度學習目前很大一部分的應用都在進行電腦影像/視覺的處理上,而除了內容識別、畫質提升外,現在技術更近一步,只要收集分析一張平面影像,就能將基本的 2D 照片轉化成 3D 物件。NVIDIA 在今年的 GTC 2021 大會中,就發表了一款全新的深度學習引擎 GANverse3D,能將平面影像建構成 3D 模型,並且在虛擬環境中進行視覺化的呈現與控制,還還原了 1980 年代熱門影集『霹靂遊俠』中的『霹靂車』!
NVIDIA Research 在 GTC2021 大會中發表了 GANverse3D 深度學習引擎,利用生成對抗網路(GAN),對同一物件的多重視角影像進行合成訓練(例如汽車模型,是以 55000 張影像進行訓練)。接著將分析資訊插入製作 3D 影像的渲染框架中,來打造出 3D 網格模型,而在經過訓練之後,GANverse3D 甚至可以僅靠一張相片,就能預測出一個 3D 網格模型,這個模型還可以搭配 3D 神經網路渲染器,讓開發人員進行控制,或是更換背景等操作。
原始影像(右)與 GANverse3D 打造出的 3D 物件效果(左)
而 GANverse3D 在於以往在進行 3D 物件操作模擬時,都需要先進行 3D 建模作業,但 3D 建模通常都要花費相當多的時間以及預算進行建模與渲染的工作,透過在 NVIDIA Omniverse 上運作的 GANverse3D 應用程式,建築師、創作者、遊戲設計師就能夠以平面影像轉化成 3D 物件,並且加入即時光線追蹤來達到更真實的模擬效果。
NVIDIA AI Research Lab 並且在 GTC 2021 中展示了以 GANverse3D 繪製出來的 1980 年代熱門電影影集《霹靂遊俠》主角:KITT 的 3D 模型,僅需透過一張影集中的影像,就能夠將 KITT 的 3D 模型繪製出來,並且具有頭燈、尾燈、方向燈的設計(還有特色招牌的紅色閃爍 LED 燈),雖然仍與人手建模在細緻度上面仍有不小差距,但對僅需要利用 3D 模型進行搭配操作的工作,這樣的效果已經相當夠用了。
以下是介紹的影片: