Nvidia推出將照片轉為3D物件的新AI模型GANverse3D

Nvidia GANverse3D
記得哆啦A夢有個道具”立體日光相機(実物立体日光写真)”,只要按下快門,
就可以從印出的照片中倒出一個被拍攝物的等身大3D複印來,
”立體日光相機”雖然還未被發明,隨著科技發展,”將拍攝的照片轉為3D”的技術卻確實登場了─
iThome看到的報導,Nvidia日前發表了新的深度學習引擎”GANverse3D”,
該應用程式不但只需單張2D圖像就可創建出相對應的3D模型,
其所產生的模型更不僅僅只是一塊形狀而已,甚至還包括了基本的物件分割!

(以下內容引述自iThome)
…..Nvidia開發了一種新的深度學習引擎GANverse3D,可以將標準的2D圖像,轉換成3D物體模型,
並且作為虛擬協作模擬平臺Nvidia Omniverse的擴充套件使用,將3D模型渲染成光影逼真的樣子
…..
…..Nvidia人工智慧實驗室所開發的GANverse3D應用程式,能將平面的圖像轉成逼真的3D模型,
並在虛擬環境進行視覺化與操作控制,官方提到,這項功能可以讓建築師、創作者、
遊戲開發者和設計師,在不需具備3D建模的專業知識下,簡單地將物件加到3D場景中。
像是使用單張汽車照片,就可以創建出3D模型,該模型可以在虛擬場景中行駛,
並且配備逼真的前燈、尾燈和方向燈等配備
…..
…..在開發GANverse3D的過程,由於缺乏訓練資料,
於是研究人員便將生成對抗網路(GAN)轉變成為高效能的資料產生器,用來生成同一物體,
但是由不同方向觀看的圖片,這些圖片就像是攝影師繞著車輛,從不同角度拍攝的一樣
…..
…..這些多重視角的圖片,被插入到反轉圖像(Inverse Graphics)用的渲染框架中,
在經過這些圖片訓練後,GANverse3D只需要單張2D圖像就可快速創建出3D模型,
這些模型可以被用於3D神經渲染器上,供開發人員控制自定義物件和變換背景
…..
…..

原文章: Knight Rider Rides a GAN: Bringing KITT to Life with AI, NVIDIA Omniverse
研究論文: Image GANs meet Differentiable Rendering for Inverse Graphics and Interpretable 3D Neural Rendering

本部落格曾介紹過不少快速建模的工具,像使用ProFORMAKinect進行三維掃描、
3-Sweep在圖片中建立基本圖形並產生3D模型,或用AI將大頭照轉為3D物件等,
比起來都沒有這個GANverse3D來的威啊…..雖然從影片中看不太出佈線如何,
若沒打算加上物理模擬機能(例如碰撞或IK),光憑預設部件應該就已經十分堪用,
畢竟連車子的各部件與車輪都分割好了,這2D轉3D的機制實在太貼心了呀!

只是該工具的輸出到底是奠基於多重的材料訓練,文中提到的車子、馬或建築可能還好,
若使用者提供的是根本不可能存在多重角度的素材,例如立ち絵或自行繪製的2D人物圖樣,
GANverse3D或許就很難依此產生出(符合想像的)3D美少女人物模型呢?
嗯,即便能節省建模時間已是一大福音,想要打破二次元與三次元之間的藩籬…..只怕仍是力有未逮哪 XD

迴響: 0 則迴響

文章分類:電腦相關

標籤: , , ,

發表迴響

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料