記得哆啦A夢有個道具”立體日光相機(実物立体日光写真)”,只要按下快門,
就可以從印出的照片中倒出一個被拍攝物的等身大3D複印來,
”立體日光相機”雖然還未被發明,隨著科技發展,”將拍攝的照片轉為3D”的技術卻確實登場了─
從iThome看到的報導,Nvidia日前發表了新的深度學習引擎”GANverse3D”,
該應用程式不但只需單張2D圖像就可創建出相對應的3D模型,
其所產生的模型更不僅僅只是一塊形狀而已,甚至還包括了基本的物件分割!
(以下內容引述自iThome)
…..Nvidia開發了一種新的深度學習引擎GANverse3D，可以將標準的2D圖像，轉換成3D物體模型，
並且作為虛擬協作模擬平臺Nvidia Omniverse的擴充套件使用，將3D模型渲染成光影逼真的樣子…..
…..Nvidia人工智慧實驗室所開發的GANverse3D應用程式，能將平面的圖像轉成逼真的3D模型，
並在虛擬環境進行視覺化與操作控制，官方提到，這項功能可以讓建築師、創作者、
遊戲開發者和設計師，在不需具備3D建模的專業知識下，簡單地將物件加到3D場景中。
像是使用單張汽車照片，就可以創建出3D模型，該模型可以在虛擬場景中行駛，
並且配備逼真的前燈、尾燈和方向燈等配備…..
…..在開發GANverse3D的過程，由於缺乏訓練資料，
於是研究人員便將生成對抗網路（GAN）轉變成為高效能的資料產生器，用來生成同一物體，
但是由不同方向觀看的圖片，這些圖片就像是攝影師繞著車輛，從不同角度拍攝的一樣…..
…..這些多重視角的圖片，被插入到反轉圖像（Inverse Graphics）用的渲染框架中，
在經過這些圖片訓練後，GANverse3D只需要單張2D圖像就可快速創建出3D模型，
這些模型可以被用於3D神經渲染器上，供開發人員控制自定義物件和變換背景…..
…..
原文章: Knight Rider Rides a GAN: Bringing KITT to Life with AI, NVIDIA Omniverse
研究論文: Image GANs meet Differentiable Rendering for Inverse Graphics and Interpretable 3D Neural Rendering
本部落格曾介紹過不少快速建模的工具,像使用ProFORMA或Kinect進行三維掃描、
以3-Sweep在圖片中建立基本圖形並產生3D模型,或用AI將大頭照轉為3D物件等,
比起來都沒有這個GANverse3D來的威啊…..雖然從影片中看不太出佈線如何,
若沒打算加上物理模擬機能(例如碰撞或IK),光憑預設部件應該就已經十分堪用,
畢竟連車子的各部件與車輪都分割好了,這2D轉3D的機制實在太貼心了呀!
只是該工具的輸出到底是奠基於多重的材料訓練,文中提到的車子、馬或建築可能還好,
若使用者提供的是根本不可能存在多重角度的素材,例如立ち絵或自行繪製的2D人物圖樣,
GANverse3D或許就很難依此產生出(符合想像的)3D美少女人物模型呢?
嗯,即便能節省建模時間已是一大福音,想要打破二次元與三次元之間的藩籬…..只怕仍是力有未逮哪 XD