用大頭照自動產生臉部3D模型!

以往介紹過的一些新奇建模方法,像是3D掃描靜態圖片節點感知等,
雖然看起來都是非常快速又方便的工具,但若單論人臉3D模型的成形,
恐怕…..都比不太上今天所介紹的這個了!
iThome看到的報導,諾丁罕大學(The University of Nottingham)電腦視覺研究室的人員,
日前釋出了其專案”Large Pose 3D Face Reconstruction from a Single Image
via Direct Volumetric CNN Regression”的演算法內容於GitHub,
並製作了一個展示演算法內容的公開網站─只要上傳2D的大頭照,
該網站便會自動偵測臉孔,並即時建立出3D模型!

(以下內容引述自iThome)
…..他們以2D影像及3D的臉部模型來訓練卷積神經網路(Convolutional Neural Network,CNN)
,只要一張2D的大頭照,不需要精確的對準,也不必建立圖像間的對應關係,
繞過建模及擬合程序,直接重建3D的臉部幾何形狀,且適用於任何的臉部位置及表情…..
…..研究人員已將該專案的演算法透過GitHub分享,採用相對寬鬆的MIT授權(MIT License),
系統要求為Linux、具備CUDA能力的Nvidia GPU、Torch7與MATLAB,
也可在macOS上執行,但不確定是否相容於Windows…..
…..此外,一般使用者也能藉由研究人員所設立的示範網站一窺該專案的奧妙,
可直接點擊範例大頭照或是上傳自己的照片來檢視重建後的3D樣子。
該站上從9月7日上線迄今,使用者已上傳了超過28萬張的大頭照,為保障隱私,
該站亦強調會在20分鐘內刪除使用者所上傳的影像與重建後的3D模型…..

該專案之摘要: http://aaronsplace.co.uk/papers/jackson2017recon/
該專案之線上Demo: http://www.cs.nott.ac.uk/~psxasj/3dme

既然看到這麼有趣的玩意,當然要馬上試一試了!
該站對上傳圖檔的限制為副檔名須為JPEG和尺寸需小於1024×1024,
剛好本部落格的圖檔幾乎都符合條件,於是就從部落格圖庫抓了兩張有人臉的照片上傳,
個人選擇的是分別來自於”ティア,引退 (11/19增補)“和”麻倉憂,引退…..?“兩篇文中,
ティア及麻倉憂的大頭照:
ティア 3D
麻倉憂 3D
哇,圖片角度有點歪也不是正面拍攝,居然也都偵測的到!
不過顴骨的突出和影片中感覺不太一樣…..頭髮的貼圖也直接黏在皮膚上,
有點像是修正過通用臉部模型後,就直接將圖片當作UV map貼上去的那種感覺呢?
然而就算如此,畢竟這可是線上即時產生,已經可說是很厲害的成果了!

該網站已經試過了超過28萬張圖,真實的人臉大概不會有什麼問題,
所以是時候來點特別的了…..每次遇到臉孔偵測類產品都要玩的いい男測試,開始!
いい男 3D
阿部高和真是從來沒讓我們失望過,永遠都能被成功辨識出來!
無怪乎這個頭像是如此的令人印象深刻、永留心中!

不過能夠偵測到阿部高和的臉孔,會否只是因為該演算法也善於對應2D人物圖像,
而非由於那男子漢的面孔栩栩如生、有著雋永的黃金比例之故呢?
為了解答這個疑惑,Norman便挑了幾張同為2D人物的頭像上傳試試:
素材
製作大頭照時就發現,一般正面很少把鼻子輪廓畫得像いい男那麼明顯,
這樣別說是否偵測的出臉孔,就算真的辨識出了鼻子也不知會是什麼樣子…..
分別上傳這幾張圖之後,偵測結果也確實印證了個人的疑慮:
2D 3D face
2D 3D FACE
四張圖中只有右上那一張成功被偵測到,做出來的模型正面看還好,
側面就會發現鼻子的突出與口部幾乎沒有被做出來,精細度與阿部高和是完全不能相比!

嘛,目前成品還滿粗糙的,不過Demo網站有提供OBJ檔輸出,
有愛的話下載回來自己再調整佈線、重新繪製投影貼圖應該也能有個不錯的成果,
只是不曉得剛好還是故意避開,這個演算法偏偏只作臉的前半部,
我最討厭、覺得困難的雕刻耳朵還是避不了…..嗚,麻煩下次請推出一個做全套的Demo啊啊!

迴響: 2 則迴響

文章分類:電腦相關

標籤: , , , ,

在〈用大頭照自動產生臉部3D模型!〉中有 2 則留言

發表迴響

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料