用大頭照自動產生臉部3D模型！

以往介紹過的一些新奇建模方法,像是3D掃描、靜態圖片節點感知等,
雖然看起來都是非常快速又方便的工具,但若單論人臉3D模型的成形,
恐怕…..都比不太上今天所介紹的這個了!
從iThome看到的報導,諾丁罕大學(The University of Nottingham)電腦視覺研究室的人員,
日前釋出了其專案”Large Pose 3D Face Reconstruction from a Single Image
via Direct Volumetric CNN Regression”的演算法內容於GitHub,
並製作了一個展示演算法內容的公開網站─只要上傳2D的大頭照,
該網站便會自動偵測臉孔,並即時建立出3D模型!

(以下內容引述自iThome)
…..他們以2D影像及3D的臉部模型來訓練卷積神經網路（Convolutional Neural Network，CNN）
，只要一張2D的大頭照，不需要精確的對準，也不必建立圖像間的對應關係，
繞過建模及擬合程序，直接重建3D的臉部幾何形狀，且適用於任何的臉部位置及表情…..
…..研究人員已將該專案的演算法透過GitHub分享，採用相對寬鬆的MIT授權（MIT License），
系統要求為Linux、具備CUDA能力的Nvidia GPU、Torch7與MATLAB，
也可在macOS上執行，但不確定是否相容於Windows…..
…..此外，一般使用者也能藉由研究人員所設立的示範網站一窺該專案的奧妙，
可直接點擊範例大頭照或是上傳自己的照片來檢視重建後的3D樣子。
該站上從9月7日上線迄今，使用者已上傳了超過28萬張的大頭照，為保障隱私，
該站亦強調會在20分鐘內刪除使用者所上傳的影像與重建後的3D模型…..

該專案之摘要: http://aaronsplace.co.uk/papers/jackson2017recon/
該專案之線上Demo: http://www.cs.nott.ac.uk/~psxasj/3dme

既然看到這麼有趣的玩意,當然要馬上試一試了!
該站對上傳圖檔的限制為副檔名須為JPEG和尺寸需小於1024×1024,
剛好本部落格的圖檔幾乎都符合條件,於是就從部落格圖庫抓了兩張有人臉的照片上傳,
個人選擇的是分別來自於”ティア，引退 (11/19增補)“和”麻倉憂，引退…..？“兩篇文中,
ティア及麻倉憂的大頭照:


哇,圖片角度有點歪也不是正面拍攝,居然也都偵測的到!
不過顴骨的突出和影片中感覺不太一樣…..頭髮的貼圖也直接黏在皮膚上,
有點像是修正過通用臉部模型後,就直接將圖片當作UV map貼上去的那種感覺呢?
然而就算如此,畢竟這可是線上即時產生,已經可說是很厲害的成果了!

該網站已經試過了超過28萬張圖,真實的人臉大概不會有什麼問題,
所以是時候來點特別的了…..每次遇到臉孔偵測類產品都要玩的いい男測試,開始!

阿部高和真是從來沒讓我們失望過,永遠都能被成功辨識出來!
無怪乎這個頭像是如此的令人印象深刻、永留心中!

不過能夠偵測到阿部高和的臉孔,會否只是因為該演算法也善於對應2D人物圖像,
而非由於那男子漢的面孔栩栩如生、有著雋永的黃金比例之故呢?
為了解答這個疑惑,Norman便挑了幾張同為2D人物的頭像上傳試試:

製作大頭照時就發現,一般正面很少把鼻子輪廓畫得像いい男那麼明顯,
這樣別說是否偵測的出臉孔,就算真的辨識出了鼻子也不知會是什麼樣子…..
分別上傳這幾張圖之後,偵測結果也確實印證了個人的疑慮:


四張圖中只有右上那一張成功被偵測到,做出來的模型正面看還好,
側面就會發現鼻子的突出與口部幾乎沒有被做出來,精細度與阿部高和是完全不能相比!

嘛,目前成品還滿粗糙的,不過Demo網站有提供OBJ檔輸出,
有愛的話下載回來自己再調整佈線、重新繪製投影貼圖應該也能有個不錯的成果,
只是不曉得剛好還是故意避開,這個演算法偏偏只作臉的前半部,
我最討厭、覺得困難的雕刻耳朵還是避不了…..嗚,麻煩下次請推出一個做全套的Demo啊啊!