幾年前,個人曾介紹過一款只要對圖片稍加塗抹便能為其增添3D效果的軟體”チクワしか持ってねえ“,
該軟體的使用已是十分簡單,但隨著科技進步,將平面圖轉為具景深動圖現在又變得更加方便、甚至無需自行動手了─
從Gigazine看到的報導,台灣清華大學與維吉尼亞理工大學的研究者Meng-Li Shih、Shih-Yang Su和Jia-Bin Huang等人,
日前為其於CVPR 2020發表的論文”3D Photography using Context-aware Layered Depth Inpainting“,
推出了可於Google Colab執行的完整Demo,只要登入Google帳號並Copy程式內容,
就能使用這項名為3D Photo Inpainting的專案,輕鬆將檔案轉為有景深的3D攝影動態圖片!
除了這個3D Photo Inpainting,之前其實也有不少團隊推出過類似效果的技術,
像是Gigazine在文中提到的SynSin與3D Ken Burns,不過根據該團隊製作的比較動畫與論文內容,
3D Photo Inpainting似乎認為他們的成果較其他來的更沒有破綻:
先不管技術上的演進如何,光是有推出公開Demo讓人試玩這點,就已經大贏其他研究了啊 XD
試用3D Photo Inpainting非常簡單,首先登入自己的Google帳號,
進入製作者提供的Demo頁面並選擇將專案另存:
進入自己另存的專案中之後,點選”Prepare environment”下方的執行按鈕:
上一步顯示執行完畢後,點選”Download script and pretrained model”的執行按鈕:
同樣待前一步顯示執行完畢,接著執行”Switch off off-screen rendering”:
接著就是點選”Please upload”下方按鈕,並於下方選擇要上傳的圖片檔案:
倘若持續出現”MessageError: TypeError: Cannot read property ‘_uploadFiles’ of undefined”訊息,
請到瀏覽器的隱私設定頁面,選擇接受第三方cookie(以Chrome為例):
這個地方卡了好久,好不容易才在stackoverflow找到解法 “orz
上傳檔案的行程式碼可重複執行以加入多張圖片,要處理的檔案都放上去後,
最後就是點選”Execute the 3D Photo Inpainting”,放著讓它跑囉:
過一陣子處理完畢後,就能在旁邊的video資料夾下載處理完的影片檔:
每張圖片都有3種不同的運鏡方式,分別為circle、swing和zoom-in.
3D Photo Inpainting處理後的效果如何呢? 首先來看看以白石茉莉奈為範例的真人圖片:
無論以豐滿歐派抑或圓潤臀部為視覺主角,大抵都是zoom-in的破綻最小,
雖然頭髮和細部的去背仍不完美,自動產生的背景品質卻頗佳,只要運鏡角度不大,
應該能騙過許多人的眼睛,成果實在比預期來的好上許多呢 ww
真人測試完畢後,接著當然就要按慣例來測試2次元圖檔了,這次是以可愛的桜為主角 ww
一些細微的部件,例如背部和被暖爐擋住的腳沒有被正確偵測,明明應該位於後方卻被拉到了上層,
桜背後的”うろこの家“其立面也沒修補的很好,樓梯亦發生了拉伸現象,
不過除了這些地方外表現其實大部份都還好,以光影較不明確的2次元圖檔來說應該算滿不錯了 ww
既然一個人的2次元圖檔能成功處理,那麼畫面中有二或三個人的又如何呢?
趁著ROAD to BERLIN即將登場,接著就以宮藤軍曹後宮團為例:
除了頭髮因為偵測不正確而產生拉伸或斷裂外,可能是因為島田フミカネ的上色相對簡單的關係,
自動產生背景的品質出乎意料的好,但頭部的背景就比較差強人意了.
就自動產生的背景品質與運鏡角度而言,3D Photo Inpainting毫無疑問遠勝”チクワしか持ってねえ“,
不過該程式太過簡單自動、無法自訂景深卻也是個(對我而言)滿大的缺點,
預設會抓大塊的人物雖然方便,但這樣想要自製髮梢晃動或乳搖就沒辦法了…..
不曉得日後會否再有其他研究者推出能自行細分景深部件的模型,
抑或更加智慧、能產生像是ZScape digital prints這種成品的技術出來呢 XD