用「沙耶の唄」VR，過個充滿燒肉果凍的暖暖情人節

在情人節,要如何才能有效的對街上情侶們視而不見呢?
將牠們做成燒肉果凍…..更正,將牠們看作是一片片肉塊,或許是個好辦法!
從はちま起稿看到的報導,日本網友かのさわ在去年年底結合HMD與自製環境貼圖,
作出了簡易版”沙耶の唄”VR環境,其過程並不複雜、還算容易上手,
雖然尚只是靜態畫面,但做為情人節的撫慰,相信已是療癒效果十足了! XD

(以下內容引述自あかすくぱるふぇ與製作者twitter)

画風転写+全天球画像+HMDで、沙耶の唄の世界を体験できるようにしました。 pic.twitter.com/PeoLo4UDTs

— かのさわ (@kano_sawa) 2016年12月29日

 
…..Deep Neural Networkによる画風転写で沙耶の唄の世界を体験できるようにしました。
本記事では、体験までの道のりを紹介します。
 
1. 全天球画像の撮影
以下のような、（部屋の）全天球画像を撮影します。
Ricoh Thetaなどの360度カメラで撮影しましょう。
私はパノラマ合成で作成しましたが、撮影と合成がとても大変でした。
（壁に不自然に貼られた画像が苦労を物語っている。。。）
ただ、パノラマ合成だと、真下方向も取得できるので、その点は良いですね。
2. 画風転写
全天球画像に肉塊の画風を転写して、肉塊全天球画像（しゅごい日本語）を生成します。
画風転写は以下の記事に載っているChainerコードを用いて行いました。
画風を変換するアルゴリズム
画像サイズが大きいとメモリ不足で実行できないようなので、
全天球画像を複数領域に分割してそれぞれ画風転写し、フォトショでつなぎ合わせました。
3. UnityによるHMD体験
以下の記事の通りに、UnityでSphereに肉塊全天球画像を貼り付けます。
Unity覚え書き（全天球画像を球体に貼り付ける）
あとは、UnityのHMD用プラグインで体験できるようにするだけです。
Unity＋Viveで開発する…..
…..

簡單來說,作者先製作了一張房間的球型環境貼圖,
然後使用Deep Neural Network轉換畫風,將其變成”沙耶の唄”的肉塊世界,
再丟到Unity中貼在天球上,並導入Vive之中觀賞;
從不是及時運算、只是觀看已完成物件這點來看,
其實就和在3D美術軟體中自己轉攝影鏡頭看環境貼圖差不多,
但結合HMD的體驗感就是不一樣,預覽影片的氛圍確實非常詭異驚悚!

嗯,只是既然都沒有及時渲染了,與其一邊體驗肉塊世界一邊閒置裝置運算能力,
不知作者未來是否會考慮加個”羽化”的人物模型或動畫進去…..
 
畢竟要是缺了美少女,那麼肉塊世界就一點意義也沒有了啊!(沒有誤)