2016年1月25日

【MMD】MikuMikuDomeMasterでGear VR/Cardboard向けステレオ天球動画を出力する

2016.05.13更新 MikuMikuDomeMaster配布元ツイートを20160417版に差し替え

nekomimi.png

今回の成果である2048x2048 Top-BottomなEqui動画はこちら、Google Driveからどうぞ。
https://drive.google.com/file/d/0BybSp1RcLhkVbElxbXpHSmM0VVE/view
Gear VR組はOculus 360 Videosアプリで、Cardboard組はFreeVRPlayerアプリで設定をポチポチと切り替えることで閲覧が可能です。ネコミミは量子力学ー!

以下のツイートの通り、まだ改造途中の模様ですが、以前【MMD】続・360度パノラマステレオ動画で嫁を召還してみた【Gear VR】で紹介したCaeru氏の【MME】360度パノラマ画像を作るがパワーアップしております。

これにより、「左右別々にレンダリングする必要がある」→「物理演算を固定するためにMMMで物理焼き付けvmdを作る必要がある」→「30万または60万のキーフレーム上限を超えると分割出力する必要がある」というコンボが解消されて、MMD単体で360度パノラマな天球ステレオ動画が一発で出力できるようになります。

MikuMikuDomeMaster作業中20160115.zip をOneDriveからダウンロードして展開します。(エラーが発生する際にはブラウザを変えたりしてみてください)
(最終版では定義ファイルが変わりそうですが)高機能なため、自分のやりたいことに従い、りどみを参考にしつつSub/MakeCubesUtils.incをエディタで編集する必要があることに注意してください。

だいたい以下の手順となります。

mmdm01.png

1. 出力サイズを縦横1:1、2048x2048(Gear VRとCardboard再生ではこのあたりがlimitです)にする
2. モデルと背景とDomeMaster.pmxを読み込む
3. モーフのDM-PanoをPano側MAXにする。
4. 視点操作ボーン配下の視差をX0.3程度に設定する
5. (ねんのため)黒背景を設定、MMEのMainからDomeMaster.fx以外のチェックを外す
6. Sub/MakeCubesUtils.incを開き、RT_SIZEを2048に、AA_Loopsを2に設定してMME再読込後、avi出力を実行。

モデル:「社畜ちゃんMMDモデル VER.2」を配布しました!
http://syachiku-chan.com/?p=529
ステージ:【UTAU事務所・UK支部 Ver 3.00 (完全版)】
http://seiga.nicovideo.jp/seiga/im4268482
モーション:【MMD】 ねこみみスイッチ 【モーション配布】
http://www.nicovideo.jp/watch/sm14365789
曲:【初音ミク】ねこみみスイッチ【オリジナル】
http://www.nicovideo.jp/watch/sm8233245

2016年1月23日

THETA SのUVCモードをUnityで試す(いまさら)

発売前後に識者達のハックが多数あったのですが、Unity力が低すぎて見てるだけでは当時よくわからなかったのを今更試してみました。

1. 何ができる子なのか全容を把握する

RICOH THETA S 発売したので、個人用メモ - izm_11's blog
http://izm-11.hatenablog.com/entry/2015/10/25/004048

はむ!の空想具現化したいブログ
http://hammmm.hatenablog.com/entry/2015/12/06/181603

を読んで全てがわかる人はそれでおkな感じです。

2. THETA SのUVCモードでwebcamとしてプレビューする

RICOH THETA S 使用説明書:ライブ映像をパソコンで見る
https://theta360.com/ja/support/manual/s/content/streaming/streaming_01.html
>カメラの撮影モードボタンを押しながら電源ボタンを押して、電源をオンにする

LIVEがピカピカ点滅するモードになったらUSBを刺します。
プレビューはHTMLの世界に任せて、ブラウザでいいでしょう

WebcamJS Test Page - HD Capture
https://pixlcore.com/demos/webcamjs/demos/hd.html

ChromeだとURL欄の右端、カメラマークからTHETA Sが選べます。

thetas-01.png

3. Unityで動かす

Stereoarts Homepage
http://stereoarts.jp/
>Unity 向けの THETA / THETA S の全天周画像をリアルタイムに Equirectanguler に変換するシェーダーと、それらの補助スクリプト一式です。
>ThetaShaderPack_20150926.zip

・Unity(5.2.2p4)で新規プロジェクトを作成。
・GOROmanさんが+αつきのTHETA SなWebCamTextureを扱うスクリプトをGistに置いてるのでそれを持ってくる。

UnityでWeb Cameraをテクスチャにアサインし、そのテクスチャをPNGでセーブする例
https://gist.github.com/GOROman/2abc0a2c8b94a36935bf

・ThetaShaderPack.unitypackageをimport。

いくつかシーンがありますが、360CameraはTHETA Sには直接は関係ないので置いといて、ThetaRealtimeEquirectanglerシーンを開きます。
先ほどのWebCamスクリプトをMain Cameraにアタッチします(別にアタッチ先オブジェクトはなんでもいい)。
WebCamスクリプトのMeterial欄にThetaRealtimeEquirerectagler(Backward)かThetaRealtimeEquirerectagler(Forward)を選択すると、それぞれTHETAの前面と後面が表示されます。
ThetaRealtimeEquirerectagler(Both)は両面ですが、シーン上のPlaneが無効化されてるので切り替えてから再生する必要があります。

thetas-02.png

次にThetaRealtimeSkyboxシーンを開きます、再度WebCamスクリプトをMain Cameraにアタッチします。
Material欄にThetaRealtimeSkyboxを選択して再生すると、めでたくskyboxにTHETA Sのストリーミング映像が表示されます。

thetas-03.png

thetas-04.png

これをさあ何かに応用を・・・と考えてもなかなか面白い案が思いつきません、どうしたものか:)

2016年1月 7日

2016年の目標

2015年の目標の達成状況は以下の通りとなりました。
【2015年の目標】
・Oculusデモ作る 限りなく×に近い△
・Cardboard/Unityゲームアプリ作る ×
・コンテンツ買ってブランド作る ×

全体的にゼロではなかった(思ったよりVR熱は醒めなかったな)と思っていますが、限りなくゼロに近かったのを今年はどうにかしたいですね。

【2016年の目標】
・VR関連書籍(電子含む)つくる
・全天球/THETA/UE/CV1それぞれで何かアウトプットする
・何か発注する
・開発系イベント主催する

もう少しVR面で消費豚から脱出する方針で1年がんばりたいところです。今年も1年よろしくお願いします。

2016年1月 2日

THETA Sはいいぞ

ちょっと前にTHETA Sを買ったのでいくつかネタを。

初代からその存在は把握してましたが、おっさんと飯が対向に並ぶ天球写真を量産してもなぁ...と思っていました。α6000を買ってカメラを使うことに慣れたことと、Gear VRで天球静止画/動画を見るのが相当に快適なこと、あとはAPI等結局手を出せていないSphericalなスマホアプリの何かに手を出すきっかけになればいいかな、と購入しました。

○撮影スカイドーム+MMDクロマキー合成

THETA-MMD.png

こちらで書いたような方法を使って、ある程度の距離があるTHETA写真や動画をスカイドーム背景として、ステレオパノラマなMMD動画をクロマキー合成するとそれなりに家の近所でミクさんが踊ってくれる様な動画が作れます。

ライティングを合わせる必要があって、理想はIBLなんでしょうけどなんちゃって色合わせでもそれなりに見えます。ちゃんとやるにはMMEベースでは限界がありそうなので、こちらはUnity等で単色背景動画を出力した方がいいかもしれません。

○複数写真・動画の合成

いたちんさんが動画合成で双子になってましたが、ライティング条件とカメラ位置を動かさない複数の写真や動画を合成すると、そこそこ非現実的で面白い写真が簡単に作れます。本質的には「Photoshop」と同じ話ですね。

透き通るようなラーメン #theta360 - Spherical Image - RICOH THETA

○コス合わせ囲み撮影

静止画であればぼかし加工もそれなりの手間で済むということで、いくらかC89現地で撮影してみました。レイヤーさんにはどういう写真が撮れるのかスマホで見せて説明した後、Twitterやtheta360.comへのアップロード許可をとっています。また、お時間のありそうな人にGear VRでお見せできたのもよかったです。ご協力いただいた皆様、ありがとうございました。

C89 1日目 おわり - Spherical Image - RICOH THETA
C89 1日目 第六駆逐隊冬仕様 - Spherical Image - RICOH THETA
C89 2日目 ラブライブ手品師 - Spherical Image - RICOH THETA
C89 2日目 まどマギ - Spherical Image - RICOH THETA
C89 2日目 ラブライブウェディング2 - Spherical Image - RICOH THETA

あまり高さを上にするとHMDで見た際に現実感が薄れるので、THETA Sのレンズがおおよそ目の高さになるぐらいに垂直にもってもらうのがベストなのですが、シャッタースピードの観点もあってそれなりにブレが発生し、妥当な写真になる率は1/3ぐらいという感じでした。シャッタースピード優先設定でどれだけノイズ除去があとからできるのか試しておく必要がありそうです。

theta360.comにアップロードした際には小さいサイズしかとれないっぽいですが、5376×2688のフル解像度はHMDでしっかり現実感があって、これはいいものです。