記得哆啦A夢漫畫中有個道具”六面照相機(六面カメラ)”,只要按下快門,
便能一次拍到目標其上下左右前後六種角度的相片,這麼厲害的發明雖然還沒出現,
若是用AI讓已經拍攝好的人物在照片中轉個方向,現在倒是已經能夠做的頗為完美了─
從Gigazine看到的消息,NVIDIA於日前推出了針對視訊會議平台Maxine所研發、
能及時以一張2D圖片合成3D頭像的新技術”Vid2Vid Cameo”,
並釋出了demo網頁讓人實地測試”翻轉人臉”的成效,而其結果…..確實是十分優秀!
(以下內容引述自NVIDIA Blog)
…..Vid2Vid Cameo, one of the deep learning models behind the NVIDIA Maxine software development kit for video conferencing,
uses generative adversarial networks (known as GANs) to synthesize realistic talking-head videos using a single 2D image of a person….
…..To use it, participants submit a reference image —
which could be either a real photo of themselves or a cartoon avatar —
before joining a video call. During the meeting,
the AI model will capture each individual’s real-time motion and apply it to the previously uploaded still image….
…..That means that by uploading a photo of themselves in formal attire,
meeting attendees with mussed hair and pajamas can appear on a call in work-
appropriate attire, with AI mapping the user’s facial movements to the reference photo.
If the subject is turned to the left, the technology can adjust the viewpoint so the attendee appears to be directly facing the webcam….
…..Besides helping meeting attendees look their best,
this AI technique also shrinks the bandwidth needed for video conferencing by up to 10x,
avoiding jitter and lag. It’ll soon be available in the NVIDIA Video Codec SDK as the AI Face Codec…..
…..
研究論文: One-Shot Free-View Neural Talking-Head Synthesis for Video Conferencing
Demo網站: vid2vid-cameo demo
(新網址: https://www.nvidia.com/en-us/research/ai-demos/)
本Blog從前也介紹過一些像是”用大頭照產生臉部3D模型“或”照片轉3D物件“的工具,
這次既然有Demo可以玩,當然要試試看NVIDIA的技術有多厲害囉!
不過線上測試並沒有提供完整的照片轉3D模型功能,
僅會顯示圖中人物頭部角度變動後的成果,比起展示及時建模與動作捕捉技術,
這似乎變得更像是一款線上人物相片微調工具了哪 XD
該工具使用起來還滿簡單的,只要選擇想要調整的人物圖片並上傳後,
再用滑鼠左鍵於圖中畫出黃色方框圈選角色的臉部,並設定想要改變的方式與其數值,
接著點選綠色的Rotate、等個幾秒後成品就會顯示於右方了!
若沒有跑出修改後的成品,可能是圖片無法被辨識、黃色方框畫得不好或使用者太多,
只要選擇其他圖片、重畫黃色框或等其他時間再試試即可.
測試的人物相片,照例請笑容甜美治癒的白石茉莉奈登場,以下為素材相片一:
測試結果:
(1)頭部俯仰程度-12(俯視)+頭部左右旋轉程度-11(左旋轉)
(2)頭部左右旋轉程度12(右旋轉)+眼睛左右旋轉程度18(右旋轉)
兩張圖的效果都十分自然,簡直看不出來是經過軟體調整的呢!
以下為素材相片二的成果:
頭部左右旋轉程度-21(左旋轉)
即便下垂的頭髮結構比較複雜,成果也一樣幾乎看不出破綻!
以下為素材相片三的成果:
頭部俯仰程度-6(俯視)+頭部左右旋轉程度-14(左旋轉)
眼睛上下凝視程度-6(下凝視)+眼睛左右旋轉程度9(右旋轉)
輸出結果依然非常自然,無論背景窗格、髮絲還是細肩帶皆無扭曲斷裂,
脖子到乳溝之間的光澤和陰影也沒有受影響,
這兩張哪一個才是處理過的…..乍看之下實在難以分辨啊 ww
不過Vid2Vid Cameo這個工具處理真人相片雖然頗有實力,
對二次元人物的辨識與加工卻似乎仍力有未逮…..
不但無法通過本Blog歷來只要牽涉到臉孔辨識技術就會登場的いい男測試,
就算能夠辨認出我家那溫柔可愛、有著LV85戰鬥力的桜,卻也沒能做出有效的調整:
看來若有相關使用需求,還是交給Live2D這類鑽研已久的公司會比較好?
根據NVIDIA Blog的介紹,”Vid2Vid Cameo”這個工具能讓使用者在視訊時無須露面、
即使穿著睡衣也可用一張正裝相片來及時產生人物頭像參與會議,
此外還能大幅節省傳輸頻寬以降低會議畫面延遲或抖動;
就Norman個人看法,倒是滿期待類似技術能夠與”3D Photo Inpainting“一類結合,
畢竟之前那些產生相片景深的技術似乎都不怎麼處理人類物件,
導致整張相片擺動時人物仍為紙片般的平面…..若能整合”Vid2Vid Cameo”,
就算還無法處理完整人身,光是僅僅新增臉部的左右面,
應該就足以讓成果品質突飛猛進、變得更加自然了 ww